博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HBase全分布式模式的安装和配置
阅读量:6377 次
发布时间:2019-06-23

本文共 2970 字,大约阅读时间需要 9 分钟。

hot3.png

##集群节点规划 | 节点名称 | Master | ZooKeeper | RegionServer| | ------------- |:-------------:| -----:| | master | yes | yes |no| | slave01 | no | yes |yes| | slave02 | no | yes |yes|

##配置master节点 ###conf/regionservers regionservers 配置文件用来指定运行 RegionServer 的节点, 根据上表的节点规划, 编辑 conf/regionservers 文件, 删除内容为 localhost 的这一行, 然后将 slave01 和 slave02 的主机名或 IP 地址添加进去.regionservers 配置文件的内容如下:

slave01slave02

###ZooKeeper配置 ####conf/hbase-env.sh HBase 集群的运行依赖 ZooKeeper 集群.所有的节点和客户端都必须要能够访问 ZooKeeper, HBase 自己默认会管理一个 ZooKeeper 集群, 这个集群会随着 HBase 的启动而启动。现在我们希望自己维护一个 ZooKeeper 集群, 需要在 conf/hbase-env.sh 文件中做以下配置:

export JAVA_HOME=/opt/java/jdk1.7.0_80/  #JDK安装目录export HBASE_MANAGES_ZK=false #不用HBase管理ZooKeeper集群

####conf/hbase-site.xml 既然是我们自己管理 ZooKeeper 集群, 就需要告诉 HBase ZooKeeper 集群的地址, 修改 conf/hbase-site.xml 文件:

hbase.rootdir
hdfs://master:9000/hbase
hbase.cluster.distributed
true
hbase.zookeeper.quorum
master,slave01,slave02
hbase.zookeeper.property.dataDir
/opt/zookeeper/data

hbase.rootdir 指定 HBase 中的存储目录, 注意 "hdfs://master:9000" 必须要与 Hadoop 集群的 core-site.xml 配置文件中 fs.defaultFS 配置项的值保持一致; hbase.cluster.distributed 指定 HBase 的运行模式, true代表分布式模式;hbase.zookeeper.quorum 指定 Zookeeper 集群的机器列表, 一般为奇数个; hbase.zookeeper.property.dataDir 指定 ZooKeeper 数据存放的路径.

##配置slave01和slave02 ###安装HBase 分别在 slave01 和 slave02 上安装 HBase, 安装过程可以参考之前的一篇博客 . ###拷贝master配置文件 使用以下命令拷贝 master 服务器上 HBase 安装目录下 conf 文件夹的内容到 slave01 和 slave02.

scp -r conf hadoop@slave01:/opt/hbase/scp -r conf hadoop@slave02:/opt/hbase/

##启动集群 ###启动ZooKeeper集群 在 ZooKeeper 集群的每台服务器上执行 zkServer.sh start 命令即可启动集群, 更多详细信息可以参考我之前的博客 .

启动成功后, 使用 jps 命令可以看到每台服务器上都启动了这个 QuorumPeerMain 进程.

###启动Hadoop集群 在 master 节点上执行 start-dfs.sh 脚本, 然后再执行 start-yarn.sh 脚本可以启动 Hadoop 集群, 更多详细信息可以参考我之前的博客 .

###启动HBase集群 在 master 节点上执行 start-hbase.sh 命令可以启动 HBase 集群.

hadoop[@master](http://my.oschina.net/u/48054):~$ start-hbase.sh starting master, logging to /opt/hbase/logs/hbase-hadoop-master-master.outslave02: starting regionserver, logging to /opt/hbase/bin/../logs/hbase-hadoop-regionserver-slave02.outslave01: starting regionserver, logging to /opt/hbase/bin/../logs/hbase-hadoop-regionserver-slave01.out

###校验运行的进程 在集群中的每台服务器上执行 jps 命令查看当前正在运行的 java 进程以检查集群是否启动成功. ####master节点jps命令输出 master-jps ####slave01节点jps命令输出 slave01-jps ####slave02节点jps命令输出 slave02-jps ####ZooKeeper进程名称 因为 ZooKeeper 集群是由我们自己来管理的, 所以 ZooKeeper 进程的名称为 QuorumPeerMain.如果 ZooKeeper 集群是由 HBase 来管理的话, ZooKeeper 进程的名称则为 HQuorumPeer. ##Web UI HBase 0.98.x 之后的版本中, HBase Web UI 使用的 HTTP 端口号已经从 Master 节点使用 60010 端口、每个 RegionServer 使用 60030 端口变成 Master 节点使用 16010 端口、RegionServer 使用 16030 端口.

在浏览器中输入地址 来访问 HBase Web UI. ###Region Server region-server

###HBase表 表统计信息

hbase-table

表明细信息

table-detail

###软件属性 soft-attr1

soft-attr2 ##参考资料

转载于:https://my.oschina.net/jackieyeah/blog/712083

你可能感兴趣的文章
Image-Loader LruMemoryCache
查看>>
浏览器缓存机制
查看>>
Redis客户端集群
查看>>
Tomcat通过Memcached实现session共享的完整部署记录
查看>>
Mac PATH你所需要了解的
查看>>
new期间的异常
查看>>
SQL、LINQ、Lambda 三种用法(转)
查看>>
[单纯形法与线性规划]【学习笔记】
查看>>
leetcode算法题(JavaScript实现)
查看>>
22:因子分解
查看>>
最大传输单元MTU
查看>>
Java反射机制的使用(全)
查看>>
python 装饰器
查看>>
手机端布局,rem布局动态获取根字体大小
查看>>
navicat 连接Oracle 报错:Cannot load OCI DLL, 126
查看>>
5090 众数
查看>>
带你认识spark安装包的目录结构
查看>>
openssl转换各种证书的语法收集
查看>>
QML之使用Loader加载QML组件
查看>>
UML基本架构建模--类的辅助信息
查看>>