Hadoop大数据开发技术电子书

高等院校大数据与人工智能应用人才培养系列教材编委会

前言

第1章 初识Hadoop

1.1 大数据概述

1.1.1 大数据的起源

1.1.2 大数据的概念

1.1.3 大数据的基本处理流程

1.1.4 大数据技术体系结构

1.1.5 大数据行业应用

1.1.6 大数据与云计算、物联网的关系

1.2 Hadoop起源及发展历史

1.2.1 Hadoop的概念

1.2.2 Hadoop的起源

1.2.3 Hadoop发展简史

1.3 Hadoop的设计思想和特性

1.3.1 Hadoop的设计思想

1.3.2 Hadoop的特性

1.4 Hadoop的体系结构

1.4.1 Hadoop 1.x

1.4.2 Hadoop 2.x

1.4.3 Hadoop 3.x

1.5 Hadoop的生态系统

1.6 Hadoop的发行版与下载

1.6.1 Apache Hadoop发行版

1.6.2 Cloudera

1.6.3 Hortonworks

1.6.4 FusionInsight

1.6.5 Hadoop版本选择依据

1.7 习题

第2章 Hadoop分布式文件系统

2.1 Hadoop伪分布式安装和配置

2.1.1 安装前准备

2.1.2 Hadoop安装

2.1.3 环境测试

2.2 HDFS设计思想

2.2.1 大数据分布式文件系统

2.2.2 HDFS角色

2.2.3 HDFS架构思想

2.3 Hadoop常用操作命令

2.3.1 目录与文件操作

2.3.2 本地与集群操作、集群内操作

2.3.3 hdfs dfsadmin命令

2.4 Java实现HDFS操作

2.4.1 HDFS连接操作

2.4.2 实现目录创建

2.4.3 实现上传文件

2.4.4 实现文件列表查看功能

2.4.5 实现目录删除

2.4.6 实现资源回收

2.5 习题

第3章 YARN原理与架构

3.1 YARN原理与组件构成

3.1.1 YARN概述

3.1.2 YARN整体架构

3.1.3 YARN与HDFS的关系

3.1.4 YARN组件工作流程

3.2 YARN与MapReduce V1

3.2.1 MapReduce V1简介

3.2.2 YARN对比MapReduce V1

3.3 YARN任务调度机制

3.3.1 YARN任务调度概述

3.3.2 YARN先进先出调度器

3.3.3 YARN容量调度器

3.3.4 YARN公平调度器

3.3.5 容量调度器和公平调度器的异同

3.4 习题

第4章 MapReduce初体验

4.1 MapReduce概述

4.1.1 MapReduce简介

4.1.2 MapReduce编程模型

4.1.3 MapReduce与HDFS的关系

4.2 Hadoop官方案例体验

4.2.1 Hadoop案例介绍

4.2.2 WordCount案例体验

4.2.3 WordCount案例执行流程说明

4.3 案例：编程实现WordCount

4.3.1 MapReduce编程规范

4.3.2 MapReduce编程实现

4.3.3 MapReduce程序执行

4.3.4 Hadoop序列化概述

4.4 习题

第5章 MapReduce应用开发

5.1 MapReduce编程

5.1.1 MapReduce应用开发概述

5.1.2 MapReduce应用本地测试

5.1.3 MapReduce应用自定义日志

5.1.4 MapReduce编程指南

5.2 MapReduce运行模式

5.2.1 MapReduce运行模式介绍

5.2.2 案例：文本词频统计应用的运行模式测试

5.3 MRUnit单元测试

5.3.1 MRUnit介绍

5.3.2 案例：文本词频统计应用的MRUnit单元测试

5.4 习题

第6章 MapReduce工作机制

6.1 MapReduce程序运行机制

6.1.1 作业提交

6.1.2 作业初始化

6.1.3 任务分配

6.1.4 任务执行

6.1.5 进度和状态更新

6.1.6 作业完成

6.2 MapReduce编程组件

6.2.1 MapReduce编程流程

6.2.2 InputFormat组件

6.2.3 Mapper组件

6.2.4 Shuffle组件

6.2.5 Reducer组件

6.2.6 OutputFormat组件

6.3 案例：MapReduce开发经典案例

6.3.1 案例：数据去重MapReduce程序开发

6.3.2 案例：计算平均值MapReduce程序开发

6.3.3 案例：数据排序MapReduce程序开发

6.4 习题

第7章 Hadoop的I/O操作

7.1 Hadoop I/O概述

7.1.1 Hadoop I/O操作的基本概念

7.1.2 Hadoop I/O操作流程

7.1.3 常用的InputFormat和OutputFormat

7.1.4 示例代码

7.2 数据完整性

7.2.1 数据完整性概述

7.2.2 HDFS数据完整性校验

7.3 MapReduce数据压缩

7.3.1 MapReduce数据压缩概述

7.3.2 编程实现数据压缩

7.4 序列化机制

7.4.1 序列化概述

7.4.2 常用的Hadoop序列化框架

7.4.3 Hadoop序列化格式Writable

7.5 案例：序列化编程实战

7.6 案例：数据完整性实战

7.7 案例：编程实现数据压缩

7.8 习题

第8章 MapReduce类型与格式

8.1 MapReduce类型

8.1.1 默认的MapReduce作业

8.1.2 验证MapReduce作业默认数据类型

8.1.3 显式地把作业环境参数设置为默认值

8.2 MapReduce输入格式

8.2.1 输入分片与记录

8.2.2 文本输入格式

8.2.3 二进制输入格式

8.2.4 多文件输入

8.2.5 数据库输入

8.3 MapReduce输出格式

8.3.1 输出格式分类

8.3.2 文本输出

8.3.3 二进制输出

8.3.4 多文件输出

8.3.5 延迟输出

8.4 案例：SequenceFileInputFormat格式文件读取

8.5 案例：统计结果的多文件输出

8.6 习题

第9章 MapReduce高级操作

9.1 计数器

9.1.1 计数器概述

9.1.2 内置计数器

9.1.3 自定义计数器

9.2 排序

9.2.1 排序概述

9.2.2 部分排序

9.2.3 完全排序

9.2.4 辅助排序

9.2.5 倒排索引

9.3 数据倾斜解决

9.4 连接

9.4.1 连接概述

9.4.2 Map端连接

9.4.3 Reduce端连接

9.5 边数据分布

9.5.1 边数据分布概述

9.5.2 分布式缓存

9.6 案例：统计缺失记录和单词质量异常

9.7 案例：统计分析商品和订单综合信息

9.8 习题

第10章 构建Hadoop集群

10.1 集群规划与设计

10.1.1 部署方式和配置

10.1.2 硬件准备

10.2 操作系统安装与配置

10.3 集群的构建和部署

10.3.1 集群主节点配置

10.3.2 集群子节点配置

10.3.3 启动Hadoop集群

10.4 集群运行和测试

10.4.1 测试WordCount词频统计

10.4.2 使用TestDFSIO来评测HDFS

10.5 习题

第11章 Hadoop集群管理

11.1 HDFS文件管理

11.1.1 永久性数据结构

11.1.2 安全模式

11.1.3 日志审计

11.2 集群监控

11.2.1 通过Web监控HDFS集群

11.2.2 验证文件和文件系统状态的命令

11.3 集群维护

11.3.1 规划和准备

11.3.2 添加集群节点

11.3.3 删除集群节点

11.3.4 常见问题处理

11.4 习题

第12章 Avro数据类型和模型

12.1 Avro数据类型

12.1.1 Avro概述

12.1.2 Avro复杂数据类型

12.2 Avro数据文件

12.2.1 Avro数据文件概述

12.2.2 Avro数据文件在大数据处理中的应用

12.2.3 Avro序列化和反序列化

12.3 Avro MapReduce编程

12.3.1 Avro格式转换案例

12.3.2 Avro MapReduce Max案例

12.3.3 Avro MapReduce排序案例

12.4 案例：实现Avro文件的序列化和反序列化

12.4.1 定义数据类

12.4.2 序列化和反序列化

12.4.3 运行程序

12.5 案例：统计分析Avro格式文件中的信息

12.5.1 准备数据

12.5.2 创建Spark应用程序

12.5.3 运行Spark应用程序

12.6 Avro的新功能和改进

12.7 习题

第13章 Parquet数据格式

13.1 Parquet数据类型及文件模型

13.1.1 Parquet文件格式

13.1.2 Parquet文件在磁盘上的分布

13.1.3 Parquet数据类型

13.1.4 深入解析Parquet文件Schema语法结构

13.1.5 Parquet的数据编码和压缩

13.2 Parquet文件的读写操作

13.2.1 Parquet文件写操作

13.2.2 Parquet文件读操作

13.3 Parquet与大数据处理框架的集成

13.3.1 Parquet在Apache Hadoop生态系统中的应用

13.3.2 Parquet与Apache Spark、Apache Hive等工具的集成

13.3.3 Parquet数据格式在数据湖架构中的角色

13.4 案例：员工平均薪水统计分析

13.5 案例：实现Spark对Parquet文件的分析操作

13.6 案例：使用Hive对Parquet文件进行统计

13.7 习题

第14章 Flume日志收集

14.1 Flume安装与配置

14.2 Flume各组件使用示例

14.2.1 Flume的Source组件

14.2.2 Flume的Channel组件

14.2.3 Flume的Sink组件

14.3 Flume采集日志示例

14.4 Flume和Sqoop对比

14.5 Flume事务与可靠性

14.5.1 Flume事务机制

14.5.2 Flume的At-least-once提交方式

14.5.3 Flume的批处理机制

14.6 Flume与应用程序集成

14.6.1 Flume拦截器概述

14.6.2 Flume拦截器分类

14.6.3 使用静态拦截器实现多个节点日志数据收集

14.6.4 自定义Flume拦截器

14.7 习题

第15章 Sqoop数据迁移

15.1 Sqoop概述

15.1.1 理解Sqoop

15.1.2 Sqoop架构

15.2 Sqoop安装与配置

15.2.1 安装依赖环境

15.2.2 Sqoop安装

15.2.3 Sqoop首次启用

15.3 Sqoop的数据迁移

15.3.1 导入数据到Hadoop

15.3.2 导出数据到关系数据库

15.3.3 Sqoop命令行工具详解

15.4 高级功能

15.4.1 增量导入与导出

15.4.2 并行导入与导出

15.4.3 自定义连接器

15.5 Sqoop性能优化

15.5.1 Sqoop性能调优策略

15.5.2 数据传输最佳实践

15.6 Sqoop故障排除

15.6.1 常见问题与解决方案

15.6.2 日志分析与调试技巧

15.7 Sqoop未来展望

15.7.1 Sqoop的发展趋势

15.7.2 Sqoop在大数据生态系统中的地位

15.8 习题

参考文献