大数据开发实战电子书

前言

环境搭建视频教程二维码清单

第1章 大数据简介

1.1 大数据的概述

1.2 大数据的特点

1.3 大数据的应用领域

1.4 目前企业应用的主流大数据技术

1.5 大数据开发流程

第2章 大数据基础架构Hadoop

2.1 Hadoop简介

2.2 Hadoop架构详解

2.2.1 分布式存储系统HDFS

2.2.2 分布式资源管理框架YARN

2.2.3 离线计算框架MapReduce

2.3 HDFS读、写文件流程

2.3.1 HDFS写文件流程

2.3.2 HDFS读文件流程

2.4 HDFS的实战操作

2.4.1 HDFS上传文件

2.4.2 HDFS创建文件

2.4.3 HDFS创建目录

2.4.4 HDFS重命名文件

2.4.5 HDFS删除文件

2.5 YARN原理

2.6 YARN调度器详解

2.7 MapReduce工作原理

2.8 MapReduce核心的原理Shuffle

2.8.1 Map端

2.8.2 Reduce端

2.9 MapReduce常用三大组件

2.9.1 MapReduce中的Partitioner

2.9.2 MapReduce中的Sort

2.9.3 MapReduce中的Combiner

2.10 MapReduce项目实战

2.10.1 清洗日志

2.10.2 统计电影最高评分

第3章 分布式协调服务Zookeeper

3.1 ZooKeeper简介

3.2 ZooKeeper结构和工作原理

3.2.1 ZooKeeper集群角色

3.2.2 ZooKeeper的数据结构

3.2.3 ZooKeeper的工作流程

3.2.4 ZooKeeper的监听器

3.3 ZooKeeper实战

3.3.1 ZooKeeper创建持久节点

3.3.2 ZooKeeper创建临时节点

3.3.3 ZooKeeper递归创建节点

3.3.4 ZooKeeper读取数据

3.3.5 ZooKeeper更新数据

3.3.6 ZooKeeper监听节点

3.3.7 ZooKeeper监听子节点

3.3.8 ZooKeeper实现服务注册与发现

第4章 数据仓库Hive

4.1 Hive简介和特点

4.2 Hive结构和原理

4.2.1 Hive结构

4.2.2 Hive运行的流程

4.2.3 Hive的HQL转换过程

4.3 电商用户行为分析

4.3.1 项目背景及目的

4.3.2 数据导入

4.3.3 数据清洗

4.3.4 数据分析

第5章 面向列的数据库HBase

5.1 HBase简介

5.2 HBase架构

5.2.1 HBase的组件

5.2.2 HBase工作机制

5.3 HBase数据模型

5.4 HBase读写流程

5.4.1 HBase写操作流程

5.4.2 HBase读操作流程

5.5 HBase的API示例

5.5.1 HBase创建表

5.5.2 HBase保持数据

5.5.3 HBase更新数据

5.5.4 HBase获取数据

5.5.5 HBase删除数据

5.5.6 使用HBase获取某一行数据

5.6 HBase存储订单案例

第6章 数据迁移工具Sqoop

6.1 Sqoop架构和工作原理

6.1.1 Sqoop导入原理

6.1.2 Sqoop导出原理

6.2 Sqoop将HDFS数据导入MySQL

6.3 Sqoop将MySQL数据导入HDFS

第7章 数据采集工具Flume

7.1 Flume简介

7.2 Flume构成和工作原理

7.2.1 Flume构成

7.2.2 Flume工作原理

7.3 Flume实战

7.3.1 Flume监听目录实战

7.3.2 Flume一对多实战

7.3.3 Flume拦截器实战

7.3.4 Flume采集数据到HDFS

7.3.5 Kafka对接Flume实战

第8章 发布订阅消息系统Kafka

8.1 Kafka简介

8.2 Kafka的消息生产者

8.2.1 Kafka生产者的运行流程

8.2.2 Kafka生产者分区

8.2.3 副本的同步复制和异步复制

8.2.4 Kafka消息发送确认机制

8.3 Kafka的Broker保存消息

8.3.1 存储方式与策略

8.3.2 Topic创建与删除

8.4 Kafka的消息消费者

8.4.1 消费机制

8.4.2 消费者组

8.5 Kafka的存储机制

8.5.1 Kafka主题Topic

8.5.2 Kafka分片Partition

8.5.3 Kafka日志Segment File

8.6 Kafka实战

8.6.1 Kafka发送消息

8.6.2 Kafka自定义分区发送消息

8.6.3 Spring Boot整合Kafka发送消息

第9章 数据处理分析引擎Spark

9.1 Spark简介

9.2 Spark运行原理

9.2.1 Spark的基本概念

9.2.2 Spark运行的原理

9.2.3 Driver运行在Client

9.2.4 Driver运行在Worker节点

9.3 Spark算子RDD

9.3.1 RDD的属性

9.3.2 RDD的依赖关系

9.3.3 RDD的shuffle过程

9.3.4 RDD的缓存和检查机制

9.4 Spark SQL

9.4.1 Spark SQL概念

9.4.2 Spark SQL的架构

9.4.3 DataSets和DataFrames

9.4.4 Spark SQL示例

9.5 Spark Streaming

9.5.1 Spark Streaming介绍

9.5.2 DStream转换操作

9.5.3 Spark Streaming窗口操作

9.5.4 DStream输入

9.5.5 DStream输出

9.5.6 DSFrame和SQL操作

9.5.7 Spark Streaming检查点

9.6 Spark Streaming接收Flume数据实战

9.7 Spark Streaming接收Kafka数据实战

第10章 全文搜索引擎Elasticsearch

10.1 Elasticsearch简介

10.2 Elasticsearch架构和原理

10.2.1 Elasticsearch核心概念

10.2.2 Elasticsearch工作原理

10.2.3 Elasticsearch倒排索引

10.3 Elasticsearch实战

10.3.1 Elasticsearch索引创建

10.3.2 Elasticsearch索引更新

10.3.3 Elasticsearch索引查询

10.3.4 Elasticsearch索引删除

10.3.5 Elasticsearch保存文档

10.3.6 Elasticsearch更新文档

10.3.7 Elasticsearch精确查询

10.3.8 Elasticsearch模糊查询

10.3.9 Elasticsearch范围查询

10.3.10 Elasticsearch布尔查询

10.3.11 Elasticsearch聚合查询

10.3.12 Elasticsearch高亮查询

10.4 Elasticsearch实现搜索系统

10.4.1 搜索系统项目环境准备

10.4.2 Elasticsearch实现搜索功能

第11章 分布式处理引擎Flink

11.1 Flink概述

11.2 Flink基本组件和运行时架构

11.2.1 Flink运行时架构

11.2.2 Flink的分层

11.3 Flink流处理流程

11.3.1 Flink环境设置（Environment）

11.3.2 Flink源算子（Source）

11.3.3 Flink支持的数据类型

11.3.4 Flink转换算子（Transform）

11.3.5 Flink输出算子（Sink）

11.4 Flink窗口、时间和水位线

11.4.1 Flink窗口（Window）

11.4.2 Flink时间（Time）

11.4.3 Flink水位线（Watermark）

11.5 Flink状态管理

11.5.1 Flink状态分类

11.5.2 Flink状态后端

11.5.3 Flink状态管理案例

11.6 Flink处理函数

11.6.1 Flink处理函数

11.6.2 Flink侧输出流

11.7 Flink容错机制

11.7.1 Flink容错机制概要

11.7.2 Flink状态一致性

11.7.3 Flink容错机制实战

11.8 Flink表和SQL

11.8.1 Flink表概述

11.8.2 Flink结构化函数

11.8.3 Flink的SQL操作

11.9 Flink复杂事件处理

11.9.1 Flink CEP简介

11.9.2 Flink CEP个体模式

11.9.3 Flink CEP组合模式

11.9.4 Flink CEP超时事件提取

第12章 电商推荐系统实战

12.1 推荐系统的概述

12.1.1 推荐系统算法

12.1.2 推荐系统的数据

12.2 电商推荐系统架构

12.2.1 电商推荐系统模块

12.2.2 创建一个推荐项目

12.3 加载数据模块

12.3.1 模块介绍

12.3.2 模块实现

12.4 离线统计模块

12.4.1 模块介绍

12.4.2 模块实现

12.5 离线推荐模块

12.5.1 模块介绍

12.5.2 模块实现

12.5.3 离线推荐模型评估

12.6 在线推荐模块

12.6.1 模块介绍

12.6.2 需求分析

12.6.3 模块实现

第13章 Flink实现电商用户行为分析

13.1 电商用户行为实时分析系统概述

13.2 电商用户行为分析系统架构

13.2.1 电商用户行为分析系统模块介绍

13.2.2 创建电商用户行为分析项目

13.3 实时热门商品统计

13.3.1 实时热门商品统计模块介绍

13.3.2 实时热门商品统计模块实现

13.4 实时流量统计

13.4.1 实时热门页面统计介绍

13.4.2 实时热门页面统计模块实现

13.4.3 实时每小时访问量统计模块介绍

13.4.4 实时每小时访问量统计模块实现

13.4.5 实时用户访问量统计模块介绍

13.4.6 实时用户访问量统计模块实现

13.5 市场营销分析

13.5.1 市场营销分析——市场推广统计模块介绍

13.5.2 市场营销分析——市场推广统计模块实现

13.5.3 市场营销分析——市场页面广告统计模块介绍

13.5.4 市场营销分析——市场页面广告模块实现

13.6 恶意登录监控

13.6.1 恶意登录监控模块描述

13.6.2 恶意登录监控模块实现

13.7 订单支付实时监控

13.7.1 订单支付实时监控模块介绍

13.7.2 订单支付实时监控模块实现

13.8 订单支付实时对账

13.8.1 订单支付实时对账模块介绍

13.8.2 订单支付实时对账模块实现