Hadoop大数据开发案例教程与项目实战(在线实验+在线自测)电子书

内容提要

前言

基础篇

第1章 Hadoop概述

1.1 Hadoop简介

1.2 Hadoop相关项目

1.3 Hadoop来源

1.4 Hadoop的发展史

1.5 Hadoop特点

1.6 Hadoop体系架构

1.6.1 HDFS体系结构

1.6.2 MapReduce体系结构

本章小结

习题

第2章 Hadoop基础环境配置

2.1 准备Linux环境

2.1.1 安装VMware12虚拟机

2.1.2 部署CentOS 64位操作系统

2.2 Linux配置

2.2.1 什么是Linux

2.2.2 Linux发行版

2.2.3 配置网络

2.2.4 Linux终端

2.3 Hadoop环境搭建

2.3.1 JDK安装和测试

2.3.2 Hadoop安装和配置

2.3.3 SSH免密码配置

本章小结

习题

第3章 分布式存储HDFS

3.1 HDFS概念

3.1.1 HDFS简介

3.1.2 HDFS设计思路和理念

3.2 HDFS体系结构

3.3 HDFS文件存储机制

3.4 HDFS Shell介绍

3.4.1 命令格式

3.4.2 HDFS用户命令

3.4.3 HDFS管理员命令

3.5 Hadoop项目创建

3.6 RPC通信原理

3.6.1 什么是Hadoop的RPC

3.6.2 RPC采用的模式

3.7 分布式文件系统操作类

本章小结

习题

第4章 计算系统MapReduce

4.1 MapReduce概念

4.1.1 MapReduce简介

4.1.2 MapReduce 数据类型与格式

4.1.3 数据类型Writable接口

4.1.4 Hadoop序列化机制

4.2 MapReduce架构

4.2.1 数据分片

4.2.2 MapReduce执行过程

4.2.3 Mapper执行过程

4.2.4 Reducer执行过程

4.2.5 Shuffle过程

4.3 第一个MapReduce案例

4.4 MapReduce接口类

4.4.1 MapReduce输入的处理类

4.4.2 MapReduce输出的处理类

本章小结

习题

第5章 计算模型Yarn

5.1 Yarn概述

5.1.1 Yarn简介

5.1.2 Yarn的组成

5.2 Yarn的执行过程

5.3 新旧MapReduce的对比

本章小结

习题

第6章 数据云盘

6.1 项目概述

6.2 功能需求

6.3 软件开发需求

6.4 效果展示

6.5 系统开发

本章小结

习题

提高篇

第7章 协调系统Zookeeper

7.1 Zookeeper概述

7.1.1 Zookeeper简介

7.1.2 Zookeeper数据模型

7.1.3 Zookeeper特征

7.1.4 Zookeeper工作原理

7.2 Zookeeper术语

7.2.1 节点

7.2.2 角色

7.2.3 顺序号

7.2.4 观察

7.2.5 Leader选举

7.3 事件

7.4 Zookeeper Shell操作

7.4.1 Zookeeper服务命令

7.4.2 Zookeeper客户端命令

7.5 Zookeeper API操作

本章小结

习题

第8章 Hadoop数据库Hbase

8.1 Hbase概述

8.1.1 Hbase简介

8.1.2 Hbase优势和特点

8.1.3 Hbase专业术语

8.2 Hbase架构

8.2.1 角色

8.2.2 Hbase物理存储和逻辑视图

8.3 Hbase Shell操作

8.4 Hbase API操作

8.5 Hbase 过滤器

8.5.1 过滤器的含义

8.5.2 过滤器的比较操作符

8.5.3 过滤器的比较器

本章小结

习题

第9章 Hadoop数据仓库Hive

9.1 Hive概述

9.1.1 Hive简介

9.1.2 Hive数据类型

9.1.3 Hive Metastore

9.1.4 Hive存储和压缩

9.1.5 Hive与传统数据库对比

9.2 Hive的系统架构

9.3 Hive的数据模型

9.3.1 内部表

9.3.2 外部表

9.3.3 分区表

9.3.4 桶表

9.4 Hive Shell操作

9.5 Hive API操作

9.6 Hive内置函数和UDF

9.6.1 内置函数

9.6.2 UDF函数

本章小结

习题

第10章 Hadoop数据采集Flume

10.1 Flume概述

10.1.1 Flume简介

10.1.2 Flume核心概念

10.1.3 Flume 系统要求

10.2 Flume架构

10.3 Flume常见操作命令

10.4 Flume环境搭建

10.4.1 设置一个Agent

10.4.2 启动Agent

本章小结

习题

第11章 OTA离线数据分析平台

11.1 项目概述

11.2 功能需求

11.3 软件开发关键技术

11.4 效果展示

11.5 平台搭建与测试

11.5.1 配置ssh免密码登录

11.5.2 配置JDK

11.5.3 配置Hadoop

11.5.4 配置Hive

11.6 数据收集

11.6.1 解压Flume

11.6.2 修改配置文件

11.6.3 启动Flume

11.6.4 校验数据

11.7 数据分析

11.7.1 数据清洗

11.7.2 ETL编程

11.7.3 业务分析

11.7.4 配置Sqoop

11.7.5 从HDFS导出数据至MySQL

11.8 数据展示

11.8.1 搭建Web开发环境

11.8.2 添加代码

11.8.3 项目结构

11.8.4 启动Tomcat

11.8.5 访问Web页面

本章小结

习题