HBase管理指南电子书

内容提要

致谢

作者简介

本书审校

前言

1．本书内容

2．阅读本书前的准备工作

3．本书读者

4．排版约定

5．读者反馈

6．客户支持

第1章 HBase集群安装

1.1 简介

1.2 快速入门

1.2.1 准备

1.2.2 操作步骤

1.2.3 运行原理

1.3 Amazon EC2的安装及准备

1.3.1 准备

1.3.2 操作步骤

1.3.3 运行原理

1.4 安装Hadoop

1.4.1 准备

1.4.2 操作步骤

1.4.3 运行原理

1.5 ZooKeeper安装

1.5.1 准备

1.5.2 操作步骤

1.5.3 运行原理

1.5.4 补充说明

1.6 修改内核参数设置

1.6.1 准备

1.6.2 操作步骤

1.6.3 运行原理

1.6.4 参考章节

1.7 HBase安装

1.7.1 准备

1.7.2 操作步骤

1.7.3 运行原理

1.8 Hadoop/ZooKeeper/HBase基本配置

1.8.1 操作步骤

1.8.2 运行原理

1.8.3 参考章节

1.9 安装多个高可用性（HA）的主节点

1.9.1 准备

1.9.2 操作步骤

1.9.3 运行原理

1.9.4 补充说明

第2章 数据迁移

2.1 简介

2.2 通过客户端程序导入MySQL数据

2.2.1 准备

2.2.2 操作步骤

2.2.3 运行原理

2.3 使用批量加载工具导入TSV文件的数据

2.3.1 准备

2.3.2 操作步骤

2.3.3 运行原理

2.3.4 补充说明

2.4 编写自定义MapReduce任务来导入数据

2.4.1 准备

2.4.2 操作步骤

2.4.3 运行原理

2.4.4 补充说明

2.4.5 参考章节

2.5 在数据移入HBase前预创建区域

2.5.1 准备

2.5.2 操作步骤

2.5.3 运行原理

2.5.4 参考章节

第3章 使用管理工具

3.1 简介

3.2 HBase主Web界面

3.2.1 准备

3.2.2 操作步骤

3.2.3 运行原理

3.3 使用HBase Shell管理表

3.3.1 准备

3.3.2 操作步骤

3.3.3 运行原理

3.3.4 补充说明

3.4 使用HBase Shell访问HBase中的数据

3.4.1 准备

3.4.2 操作步骤

3.4.3 运行原理

3.4.4 参考章节

3.5 使用HBase Shell管理集群

3.5.1 准备

3.5.2 操作步骤

3.5.3 运行原理

3.5.4 参考章节

3.6 在HBase Shell中执行Java方法

3.6.1 准备

3.6.2 操作步骤

3.6.3 运行原理

3.6.4 补充说明

3.7 行计数器

3.7.1 准备

3.7.2 操作步骤

3.7.3 运行原理

3.7.4 补充说明

3.8 WAL工具——手动分割和转储WAL

3.8.1 准备

3.8.2 操作步骤

3.8.3 运行原理

3.8.4 参考章节

3.9 HFile工具——以文本方式查看HFile的内容

3.9.1 准备

3.9.2 操作步骤

3.9.3 运行原理

3.9.4 补充说明

3.10 HBase hbck——检查HBase集群的一致性

3.10.1 准备

3.10.2 操作步骤

3.10.3 运行原理

3.10.4 参考章节

3.11 HBase Hive——使用类SQL语言查询HBase中的数据

3.11.1 准备

3.11.2 操作步骤

3.11.3 运行原理

第4章 HBase数据备份及恢复

4.1 简介

4.2 使用distcp进行关机全备份

4.2.1 准备

4.2.2 操作步骤

4.2.3 运行原理

4.3 使用CopyTable在表间复制数据

4.3.1 准备

4.3.2 操作步骤

4.3.3 运行原理

4.4 将HBase表导出为HDFS上的转储文件

4.4.1 准备

4.4.2 操作步骤

4.4.3 运行原理

4.4.4 扩展介绍

4.4.5 参考章节

4.5 通过从HDFS导入转储文件来恢复HBase数据

4.5.1 准备

4.5.2 操作步骤

4.5.3 运行原理

4.5.4 补充说明

4.5.5 参考章节

4.6 备份NameNode元数据

4.6.1 准备

4.6.2 操作步骤

4.6.3 运行原理

4.6.4 补充说明

4.7 备份区域开始键

4.7.1 准备

4.7.2 操作步骤

4.7.3 运行原理

4.7.4 参考章节

4.8 集群复制

4.8.1 准备

4.8.2 操作步骤

4.8.3 运行原理

4.8.4 补充说明

第5章 监控与诊断

5.1 简介

5.2 显示HBase表的磁盘利用率

5.2.1 准备

5.2.2 操作步骤

5.2.3 运行原理

5.2.4 补充说明

5.3 安装Ganglia来监控HBase集群

5.3.1 准备

5.3.2 操作步骤

5.3.3 运行原理

5.3.4 补充说明

5.3.5 参考章节

5.4 OpenTSDB——使用HBase监控HBase集群

5.4.1 准备

5.4.2 操作步骤

5.4.3 运行原理

5.4.4 补充说明

5.5 安装Nagios来监控HBase进程

5.5.1 准备

5.5.2 操作步骤

5.5.3 运行原理

5.5.4 补充说明

5.6 使用Nagios检查Hadoop/HBase日志

5.6.1 准备

5.6.2 操作步骤

5.6.3 运行原理

5.6.4 补充说明

5.6.5 参考章节

5.7 使用一些简单脚本来报告集群状态

5.7.1 准备

5.7.2 操作步骤

5.7.3 运行原理

5.7.4 补充说明

5.7.5 参考章节

5.8 热点区域——诊断写操作

5.8.1 准备

5.8.2 操作步骤

5.8.3 运行原理

5.8.4 补充说明

5.8.5 参考章节

第6章 维护和安全

6.1 简介

6.2 启用HBase RPC的DEBUG级日志功能

6.2.1 准备

6.2.2 操作步骤

6.2.3 运行原理

6.2.4 补充说明

6.3 平稳节点停机

6.3.1 准备

6.3.2 操作步骤

6.3.3 运行原理

6.3.4 补充说明

6.3.5 参考章节

6.4 为集群添加节点

6.4.1 准备

6.4.2 操作步骤

6.4.3 运行原理

6.4.4 补充说明

6.5 滚动重启

6.5.1 准备

6.5.2 操作步骤

6.5.3 运行原理

6.5.4 补充说明

6.6 管理HBase进程的简单脚本

6.6.1 准备

6.6.2 操作步骤

6.6.3 运行原理

6.7 简化部署的简单脚本

6.7.1 准备

6.7.2 操作步骤

6.7.3 运行原理

6.7.4 补充说明

6.8 对Hadoop和HBase进行Kerberos身份认证

6.8.1 准备

6.8.2 操作步骤

6.8.3 运行原理

6.8.4 补充说明

6.8.5 参考章节

6.9 配置HDFS使用Kerberos安全保护机制

6.9.1 准备

6.9.2 操作步骤

6.9.3 运行原理

6.9.4 补充说明

6.10 HBase的安全保护配置

6.10.1 准备

6.10.2 操作步骤

6.10.3 运行原理

6.10.4 补充说明

第7章 故障排查

7.1 简介

7.2 故障排查工具介绍

7.2.1 准备

7.2.2 操作步骤

7.2.3 运行原理

7.2.4 参考章节

7.3 处理XceiverCount错误

7.3.1 准备

7.3.2 操作步骤

7.3.3 运行原理

7.4 处理“打开的文件过多”的错误

7.4.1 准备

7.4.2 操作步骤

7.4.3 运行原理

7.4.4 补充说明

7.4.5 参考章节

7.5 处理“无法创建新本地线程”错误

7.5.1 准备

7.5.2 操作步骤

7.5.3 运行原理

7.5.4 补充说明

7.5.5 参考章节

7.6 处理“HBase忽略了HDFS的客户端配置”问题

7.6.1 准备

7.6.2 操作步骤

7.6.3 运行原理

7.7 处理ZooKeeper客户端的连接错误

7.7.1 准备

7.7.2 操作步骤

7.7.3 运行原理

7.7.4 补充说明

7.8 处理ZooKeeper会话过期错误

7.8.1 准备

7.8.2 操作步骤

7.8.3 运行原理

7.8.4 参考章节

7.9 处理EC2上HBase的启动错误

7.9.1 准备

7.9.2 操作步骤

7.9.3 运行原理

7.9.4 补充说明

7.9.5 参考章节

第8章 基本性能调整

8.1 简介

8.2 设置Hadoop分散磁盘I/O

8.2.1 准备

8.2.2 操作步骤

8.2.3 运行原理

8.2.4 补充说明

8.3 使用网络拓扑结构脚本使Hadoop可感知机架

8.3.1 准备

8.3.2 操作步骤

8.3.3 运行原理

8.4 以noatime和nodiratime方式装载磁盘

8.4.1 准备

8.4.2 操作步骤

8.4.3 运行原理

8.4.4 补充说明

8.5 将vm.swappiness设为0以避免交换

8.5.1 准备

8.5.2 操作步骤

8.5.3 运行原理

8.5.4 参考章节

8.6 Java GC和HBase堆的设置

8.6.1 准备

8.6.2 操作步骤

8.6.3 运行原理

8.6.4 补充说明

8.6.5 参考章节

8.7 使用压缩

8.7.1 准备

8.7.2 操作步骤

8.7.3 运行原理

8.7.4 补充说明

8.8 管理合并

8.8.1 准备

8.8.2 操作步骤

8.8.3 运行原理

8.8.4 补充说明

8.9 管理区域分割

8.9.1 准备

8.9.2 操作步骤

8.9.3 运行原理

8.9.4 补充说明

8.9.5 参考章节

第9章 高级配置和调整

9.1 简介

9.2 使用YCSB对HBase集群进行基准测试

9.2.1 准备

9.2.2 操作步骤

9.2.3 运行原理

9.2.4 补充说明

9.3 增加区域服务器的处理线程数

9.3.1 准备

9.3.2 操作步骤

9.3.3 运行原理

9.3.4 参考章节

9.4 使用自定义算法预创建区域

9.4.1 准备

9.4.2 操作步骤

9.4.3 运行原理

9.4.4 补充说明

9.4.5 参考章节

9.5 避免写密集集群中的更新阻塞

9.5.1 准备

9.5.2 操作步骤

9.5.3 工作原理

9.5.4 参考章节

9.6 调节MemStore内存大小

9.6.1 准备

9.6.2 操作步骤

9.6.3 运行原理

9.6.4 补充说明

9.6.5 参考章节

9.7 低延迟系统的客户端调节

9.7.1 准备

9.7.2 操作步骤

9.7.3 运行原理

9.7.4 补充说明

9.8 配置列族的块缓存

9.8.1 准备

9.8.2 操作步骤

9.8.3 运行原理

9.8.4 补充说明

9.8.5 参考章节

9.9 调高读密集集群的块缓存大小

9.9.1 准备

9.9.2 操作步骤

9.9.3 运行原理

9.9.4 参考章节

9.10 客户端扫描类的设置

9.10.1 准备

9.10.2 操作步骤

9.10.3 工作原理

9.10.4 补充说明

9.10.5 参考章节

9.11 调整块大小来提高寻道性能

9.11.1 准备

9.11.2 操作步骤

9.11.3 运行原理

9.11.4 补充说明

9.11.5 参考章节

9.12 启用Bloom过滤器提高整体吞吐量

9.12.1 准备

9.12.2 操作步骤

9.12.3 运行原理

9.12.4 补充说明