HBase+Hadoop2 NN HA+Zookeeper独立安装的整合

作者: Michael 日期: 2015 年 2 月 5 日发表评论 (4) 查看评论

Hadoop2 NN HA+Zookeeper独立安装的步骤参见：http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/ ，本文HBase的整合是在此环境搭建好的基础上进行的。

1、各节点的角色分配

hostname	IP	Hadoop角色	HBase角色
nn1.hadoop zk1.hadoop	172.17.225.61	NN,JN,ZK,ZKFC,RM	Master
nn2.hadoop zk2.hadoop	172.17.225.121	NN,JN,ZK,ZKFC,RM	x
dn1.hadoop zk3.hadoop	172.17.225.72	DN,JN,ZK,MRJS	RegionServer
dn2.hadoop	172.17.225.76	DN	RegionServer
dn3.hadoop	172.17.225.19	DN	RegionServer

2、软件安装配置

2.1、下载 hbase-0.98.9-hadoop2-bin.tar.gz 解压安装到 /usr/local/share/hbase

2.2、修改环境变量 vi ~/.bash_profile :

export HBASE_HOME=/usr/local/share/hbase
export PATH="$HBASE_HOME/bin:$PATH"

1 2	export HBASE_HOME=/usr/local/share/hbase export PATH="$HBASE_HOME/bin:$PATH"

2.3、修改 $HBASE_HOME/conf/hbase-env.sh :

#必须要确认修改的属性
export JAVA_HOME=/usr/java/jdk1.7.0_75
#HBASE自己管理ZK 设为true（默认值）；如果ZK独立安装 设为false
export HBASE_MANAGES_ZK=false

#根据实际环境优化配置
export HBASE_HEAPSIZE=4000 
export HBASE_OPTS="-server -XX:NewSize=6m -XX:MaxNewSize=6m -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"

#必须要确认修改的属性

export JAVA_HOME=/usr/java/jdk1.7.0_75

#HBASE自己管理ZK 设为true（默认值）；如果ZK独立安装设为false

export HBASE_MANAGES_ZK=false

#根据实际环境优化配置

export HBASE_HEAPSIZE=4000

export HBASE_OPTS="-server -XX:NewSize=6m -XX:MaxNewSize=6m -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"

2.4、修改 $HBASE_HOME/conf/hbase-site.xml :

property>
    <name>hbase.rootdir</name>
    <!-- mycluster 需要和NN HA配置的 dfs.nameservices一致-->
    <value>hdfs://mycluster/user/hbase</value>
</property>

<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>zk1.hadoop,zk2.hadoop,zk3.hadoop</value>
</property>

<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/bigdata/hadoop/zookeeper/zkdata</value>
</property>

<property>
 	<name>zookeeper.session.timeout</name>
    <value>60000</value>
</property>

<property>
 	<name>hbase.regionserver.handler.count</name>
    <value>20</value>
</property>

property>

<name>hbase.rootdir</name>

<value>hdfs://mycluster/user/hbase</value>

</property>

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.zookeeper.quorum</name>

<value>zk1.hadoop,zk2.hadoop,zk3.hadoop</value>

</property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/bigdata/hadoop/zookeeper/zkdata</value>

</property>

<name>zookeeper.session.timeout</name>

</property>

<name>hbase.regionserver.handler.count</name>

</property>

ps: hdfs://mycluster/user/hbase 红色标注的目录根据实际自己的配置。

2.5、修改配置文件：$HBASE_HOME/conf/regionservers ：

dn1.hadoop
dn2.hadoop
dn3.hadoop

dn1.hadoop

dn2.hadoop

dn3.hadoop

2.6、在所有HBase的节点上按照上面的步骤配置一遍。

3、启动和演示可参见：HBase安装配置之完全分布式模式。

参考：

—————– EOF @Michael Sun —————–

原创文章，转载请注明： 转载自micmiu – 软件开发+生活点滴[ http://www.micmiu.com/ ]

本文链接地址: http://www.micmiu.com/bigdata/hbase/hbase-setup-on-hadoop2-nn-ha-zookeeper/

HBaseHBase

← Hadoop2分布式及NN和RM实现HA的实验

Happy New Year! →

发表评论？

4 条评论。

blade 2015 年 12 月 18 日在下午 3:32

在hbase-env.sh文件指定HBASE_CLASSPATH为${HADOOP_CONF_DIR}，hbase-site.xml只用core-site.xml指定的逻辑集群名xxx，启动时HRegionserver报找不到主机xxx。后来创建软链接：ln -s ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml ${HBASE_HOME}/conf/hdfs-site.xml，启动正常了。是不是HBASE_CLASSPATH的值没有生效，hbase不知道那是servicename而简单解析成host了。

回复
- blade 2015 年 12 月 18 日在下午 5:40
  
  将HBASE_CLASSPATH指定为绝对路径，而不是使用环境变量${HADOOP_CONF_DIR}，在不添加软链接的情况下，也启动正常，说明用环境变量时，应该没有生效。
  
  回复
herim 2015 年 11 月 23 日在下午 6:09

需要拷贝hdfs-site.xml文件到hbase conf中吗，不然只知道servicename怎么知道hdfs实际地址

回复
- Michael 2015 年 12 月 8 日在上午 9:17
  
  其实这个主要看你的环境变量，它应该根据环境变量里配置 HADOOP_HOME找响应的配置文件，如果你没有配置环境变量肯定要copy过去的
  
  回复

micmiu – 软件开发+生活点滴