实战Hadoop 2.0(第二版)-从云计算到大数据电子书

内容简介

第二版前言

第一版前言

第1章 大数据组件概述

1.1 Google大数据组件

1.2 Apache大数据组件

1.2.1 Hadoop核心组件

1.2.2 基于MR的数据分析组件

1.2.3 数据库组件

1.2.4 BSP组件

1.2.5 基于YARN框架组件

1.2.6 基于YARN的编程类库组件

1.2.7 搜索引擎组件

1.2.8 工作流组件

1.2.9 数据流组件

1.2.10 序列化和持久化组件

1.2.11 调试工具

1.2.12 安全性组件

1.2.13 兼容性组件

1.2.14 集群部署与管理组件

习 题

参考文献

第2章 大数据集群

2.1 大数据集群简介

2.2 大数据集群bigCstor

2.3 我的大数据集群littleCstor

2.4 小结

习 题

参考文献

第3章 集群管理工具Ambari

3.1 Ambari简介

3.2 使用Ambari部署HDP

3.3 使用Ambari搭建littleCstor

3.3.1 相关约定

3.3.2 制定部署规划

3.3.3 搭建prelittleCstor

3.3.4 本地建仓

3.3.5 部署AmbariServer

3.3.6 搭建littleCstor

3.3.7 小结

3.4 使用Ambari管理littleCstor

3.5 小结

习 题

参考文献

第4章 分布式文件系统HDFS

4.1 分布式存储引例

4.1.1 问题描述

4.1.2 常规解决方案

4.1.3 分布式解决方案

4.2 HDFS简介

4.2.1 HDFS逻辑架构

4.2.2 HDFS物理拓扑

4.2.3 HDFS部署

4.2.4 HDFS其他概念

4.3 HDFS接口

4.4 实战HDFS Shell

4.4.1 HDFS文件级命令集

4.4.2 HDFS系统级命令集

4.5 实战WebHDFS

4.5.1 WebHDFS简介

4.5.2 WebHDFS示例

4.6 实战HDFS JAVA API

4.6.1 搭建开发环境

4.6.2 常规操作示例

4.7 实战HDFS大项目：用HDFS存储海量视频数据

4.7.1 应用场景

4.7.2 设计实现

习 题

参考文献

第5章 分布式资源管理器YARN

5.1 分布式资源管理器引例

5.1.1 分布式资源管理器简介

5.1.2 分布式资源管理器架构

5.2 YARN简介

5.2.1 基础概念

5.2.2 物理拓扑

5.2.3 体系架构

5.2.4 集群部署

5.3 YARN接口

5.4 实战YARN Shell

5.4.1 系统级命令

5.4.2 程序级命令

5.4.3 其他辅助命令

5.5 实战YARN编程

5.5.1 常见并行化范式

5.5.2 YARN编程步骤

5.6 实战YARN编程之DistributedShell

5.6.1 DistributedShell简介

5.6.2 编写DistributedShell

5.7 实战YARN编程之三大范式

5.7.1 DistributedShell

5.7.2 MapReduce

5.7.3 Giraph

习 题

参考文献

第6章 分布式并行处理MapReduce

6.1 并行化范式M-S-R引例

6.1.1 问题描述

6.1.2 常规解决方案

6.1.3 分布式解决方案

6.1.4 小结

6.2 MapReduce简介

6.2.1 基本概念

6.2.2 编程模型

6.2.3 集群部署

6.2.4 体系架构

6.2.5 执行过程

6.3 MapReduce接口

6.4 实战MapReduce Shell

6.5 实战MapReduce编程

6.6 实战MapReduce编程之WordCount

6.6.1 WordCount代码分析

6.6.2 WordCount处理过程

6.7 实战MapReduce编程之SecondarySort

6.8 实战MapReduce编程之倒排索引

6.8.1 简介

6.8.2 分析与设计

6.8.3 倒排索引完整源码

6.9 实战MapReduce之性能优化

习 题

参考文献

第7章 分布式锁服务ZooKeeper

7.1 ZooKeeper简介

7.1.1 ZooKeeper应用场景

7.1.2 ZooKeeper体系架构

7.1.3 ZooKeeper服务模型

7.1.4 ZooKeeper部署

7.2 ZooKeeper接口

7.2.1 接口汇总

7.2.2 实战ZooKeeper Shell

7.3 实战ZooKeeper编程

7.4 实战ZooKeeper之进程通信

7.5 实战ZooKeeper之进程调度系统

7.5.1 设计方案

7.5.2 设计实现

7.6 实战ZooKeeper之实现NameNode自动切换

7.6.1 设计思想

7.6.2 详细设计

7.6.3 编码

7.6.4 实战总结

习 题

参考文献

第8章 分布式数据库HBase

8.1 HBase简介

8.1.1 体系架构

8.1.2 数据模型

8.1.3 集群部署

8.2 HBase接口

8.3 实战HBase Shell

8.4 实战HBase API

8.5 实战HBase之综例

8.6 实战HBase之使用MapReduce构建索引

8.6.1 索引表蓝图

8.6.2 HBase和MapReduce

8.6.3 实现索引

习 题

参考文献

第9章 内存型计算框架Spark

9.1 Spark简介

9.1.1 基础概念

9.1.2 体系架构

9.1.3 集群部署

9.1.4 计算模型

9.1.5 工作机制

9.1.6 其他特性

9.2 Spark接口

9.3 实战Spark Shell

9.3.1 集群管理

9.3.2 任务管理

9.4 实战Spark编程之RDD

9.4.1 RDD属性

9.4.2 并行化证明RDD、调试RDD

9.4.3 RDD操作

9.5 实战Spark之WordCount

9.6 实战Spark之MLLib

习 题

参考文献

第10章 数据流实时处理系统Storm

10.1 Storm简介

10.1.1 与Hadoop的关系

10.1.2 基础概念

10.1.3 体系架构[3]

10.1.4 集群部署

10.1.5 计算模型

10.2 Storm接口

10.3 实战Storm Shell

10.4 实战Storm API之RollingTopWords

习 题

参考文献

第11章 数据仓库工具Hive

11.1 Hive简介

11.1.1 工作原理

11.1.2 体系架构

11.1.3 计算模型

11.1.4 集群部署

11.2 Hive接口

11.2.1 接口汇总

11.2.2 实战Hive Web

11.3 实战Hive Shell

11.3.1 DDL Operations

11.3.2 DML Operations

11.3.3 SQL Operations

11.4 实战Hive之复杂语句

11.5 实战Hive之综合示例

11.6 实战Hive API接口

11.6.1 UDF编程示例

11.6.2 UDAF编程示例

习 题

参考文献

第12章 其他常见大数据组件

12.1 Pig

12.1.1 Pig简介

12.1.2 实战Pig

12.2 Oozie

12.2.1 Oozie简介

12.2.2 实战Oozie

12.3 Flume

12.3.1 Flume简介

12.3.2 实战Flume

12.4 Mahout

12.4.1 Mahout简介

12.4.2 实战Mahout

习 题

参考文献

附录A 手工部署Hadoop2.0

一、部署综述

二、部署步骤