Hadoop应用开发基础电子书

扉页

版权页

内容提要

序言

前言

智慧教材使用方法

第1章 Hadoop入门

任务1 了解大数据现状

1.1.1 大数据基本概念和特征

1.1.2 大数据带来的机遇和挑战

任务2 了解Hadoop基础

1.2.1 Hadoop概述

1.2.2 Hadoop生态圈

1.2.3 Hadoop应用案例

任务3 搭建移动通信业务的Hadoop处理平台

1.3.1 安装虚拟机

1.3.2 安装Linux操作系统

1.3.3 搭建移动通信业务的Hadoop处理平台

1.3.4 大数据集群管理平台

1.3.5 技能实训

本章总结

本章作业

第2章 Hadoop分布式文件系统HDFS

任务1 了解HDFS

2.1.1 认识HDFS

2.1.2 HDFS架构

任务2 使用HDFS处理移动通信数据文件

2.2.1 使用HDFS shell操作完成移动通信数据的管理

2.2.2 使用Java API操作完成移动通信数据的管理

2.2.3 技能实训

任务3 了解HDFS运行原理

2.3.1 HDFS读写流程

2.3.2 HDFS副本机制

2.3.3 HDFS负载均衡

2.3.4 HDFS机架感知

任务4 实现移动通信数据的行文件方式存储

2.4.1 Hadoop序列化机制

2.4.2 文件格式

2.4.3 技能实训

本章总结

本章作业

第3章 Hadoop分布式计算框架MapReduce

任务1 使用MapReduce完成词频统计功能

3.1.1 MapReduce基础

3.1.2 MapReduce编程模型

3.1.3 MapReduce词频统计编程实例

3.1.4 技能实训

任务2 按号段统计手机号码

3.2.1 MapReduce输入/输出格式

3.2.2 Combiner类

3.2.3 Partitioner类

3.2.4 Shuffle阶段

3.2.5 自定义RecordReader

3.2.6 技能实训

任务3 使用MapReduce编写应用案例

3.3.1 使用MapReduce实现join操作

3.3.2 使用MapReduce实现排序功能

3.3.3 使用MapReduce实现二次排序功能

3.3.4 技能实训

本章总结

本章作业

第4章 Hadoop YARN

任务1 在YARN集群上运行MapReduce作业

4.1.1 YARN的产生背景

4.1.2 YARN简介

4.1.3 YARN架构设计

4.1.4 技能实训

任务2 配置YARN容错

4.2.1 ResourceManager自动重启

4.2.2 ResourceManager高可用

本章总结

本章作业

第5章 ZooKeeper简介及安装

任务1 了解ZooKeeper

5.1.1 ZooKeeper概念

5.1.2 ZooKeeper的作用及优势

5.1.3 ZooKeeper架构

5.1.4 ZooKeeper的应用案例

任务2 搭建ZooKeeper单机环境

5.2.1 ZooKeeper下载安装

5.2.2 ZooKeeper配置

5.2.3 启动ZooKeeper

5.2.4 技能实训

任务3 实现分布式系统服务器上下线的动态感知

5.3.1 ZooKeeper Client命令行操作

5.3.2 Java API操作ZooKeeper

5.3.3 技能实训

本章总结

本章作业

第6章 HBase基础

任务1 了解HBase

6.1.1 HBase是什么

6.1.2 HBase发展历史

6.1.3 HBase使用案例

任务2 理解HBase体系架构

6.2.1 架构简介

6.2.2 HMaster

6.2.3 HRegion

6.2.4 HRegionServer

6.2.5 ZooKeeper

任务3 理解HBase数据模型

6.3.1 数据模型

6.3.2 概念视图

6.3.3 物理视图

任务4 搭建HBase环境

6.4.1 HBase安装包下载

6.4.2 HBase解压安装

6.4.3 HBase伪分布式环境搭建

6.4.4 技能实训

本章总结

本章作业

第7章 HBase操作

任务1 使用HBase Shell完成《王者荣耀》游戏玩家信息管理操作

7.1.1 DDL操作

7.1.2 DML操作

7.1.3 技能实训

任务2 使用HBase Java API完成《王者荣耀》游戏玩家信息管理操作

7.2.1 开发环境搭建

7.2.2 核心API

7.2.3 技能实训

任务3 使用HBase Rest API访问《王者荣耀》游戏玩家信息表

7.3.1 启动/停止Rest服务命令

7.3.2 访问方式

7.3.3 技能实训

本章总结

本章作业

第8章 HBase应用

任务1 使用表空间管理《王者荣耀》游戏玩家信息表

8.1.1 HBase名字空间简介

8.1.2 名字空间操作

8.1.3 技能训练

任务2 对《王者荣耀》游戏玩家信息表进行权限管理

8.2.1 授予权限GRANT

8.2.2 查看权限USER_PERMISSION

8.2.3 收回权限REVOKE

8.2.4 技能实训

任务3 理解HRegion切分

8.3.1 HRegion切分概念

8.3.2 切分策略

任务4 了解HBase中的Compaction过程

8.4.1 Compaction概念

8.4.2 Compaction实现方式

8.4.3 Compaction参数

本章总结

本章作业

第9章 工作流调度框架Oozie

任务1 理解Apache Oozie架构

9.1.1 Oozie简介

9.1.2 Oozie架构

任务2 搭建Oozie环境

9.2.1 Oozie下载安装

9.2.2 Oozie配置

9.2.3 Oozie启动

9.2.4 技能实训

任务3 实现游戏玩家搜索功能

9.3.1 Shell Action

9.3.2 Java Action

9.3.3 MapReduce Action

9.3.4 实现游戏玩家搜索功能

9.3.5 技能实训

本章总结

本章作业

第10章 项目实训——《王者荣耀》游戏英雄排行榜

10.1 项目需求

10.2 项目环境准备

10.3 项目覆盖的技能点

10.4 难点分析

10.5 项目实现思路

本章总结

本章作业