[一]、前提
首先是snappy编译安装和hadoop-snappy编译，这个可以直接参考： Hadoop安装配置snappy压缩，所有前提准备好后，HBase上安装配置snappy压缩算法就相对简单多了。
[二]、实验环境
| 角色 | OS(系统) | JDK |
| Master | CentOS 6.3 | 1.7.0_75 |
| RegionServer | CentOS 5.8 | 1.7.0_75 |
| RegionServer | CentOS 5.8 | 1.7.0_75 |
| RegionServer | CentOS 5.8 | 1.7.0_75 |
PS:正因为 Master和 RegionServer 的操作系统版本不一样，所以需要在各自的系统下重新编译相关软件生成本地动态库。
[三]、安装配置
3.1、配置本地动态库
把 hadoop的动态库 （$HADOOP_HOME/lib/native 目录下所有文件 ） 和 hadoop-snappy的动态库 （$HADOOP-SNAPPY_CODE_HOME/target/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64 文件夹） 复制到 $HBASE_HOME/lib/native 目录。
PS: CentOS 5.8中需要把 hadoop-snappy 的动态库直接放在 $HBASE_HOME/lib/native 根目录下才生效（CentOS 6.3 可以放在$HBASE_HOME/lib/native/Linux-amd64-64）,这个原因还没有查明。
3.2、配置环境变量 $HBASE_HOME/conf/hbase-env.sh
|
1 2 3 4 |
#根据具体的动态库目录配置 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/ 或者 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64 |
可以用命令验证本地库配置是否正确：
|
1 |
hbase -Djava.library.path=/usr/local/share/hbase/lib/native/Linux-amd64-64/ org.apache.hadoop.hbase.util.CompressionTest /home/hadoop/micmiu.txt snappy |
3.3、全部节点配置完成后，重启hbase即可
[四]、验证成功
4.1、自带的CompressionTest 测试snappy
|
1 2 3 4 |
#测试hdfs中文件压缩 hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://mycluster/user/micmiu/demo/wordcount/out6/part-r-00000 snappy #测试本地文件压缩 hbase org.apache.hadoop.hbase.util.CompressionTest /home/hadoop/micmiu.txt snappy |
看到运行日志没有错误，最后输出 SUCCESS 只能表示本机基本安装配置成功。
4.2、验证集群
创建snappy压缩格式的表进行常规基本CRUD的操作，执行过程都正常才真正表示hbase集群环境中配置snappy压缩算法成功。
—————– EOF @Michael Sun —————–
原创文章，转载请注明： 转载自micmiu – 软件开发+生活点滴[ http://www.micmiu.com/ ]
本文链接地址: http://www.micmiu.com/bigdata/hbase/hbase-snappy-install-config/
0 条评论。