Spark 3.x大数据分析实战(视频教学版)电子书

内容简介

作者简介

前言

目 录

第1章 Spark开发准备——Scala基础

1.1 什么是Scala

1.2 安装Scala

1.3 Scala基础

1.4 集合

1.5 类和对象

1.6 抽象类和特质

1.7 使用Eclipse创建Scala项目

1.8 使用IntelliJ IDEA创建Scala项目

1.9 动手练习

第2章 初识Spark

2.1 大数据开发的总体架构

2.2 什么是Spark

2.3 Spark的主要组件

2.4 Spark运行架构

2.5 Spark集群搭建与测试

2.6 Spark应用程序的提交

2.7 Spark Shell的使用

2.8 动手练习

第3章 Spark RDD弹性分布式数据集

3.1 什么是RDD

3.2 创建RDD

3.3 RDD的算子

3.4 RDD的分区

3.5 RDD的依赖

3.6 RDD的持久化

3.7 RDD的检查点

3.8 共享变量

3.9 案例分析：Spark RDD实现单词计数

3.10 案例分析：Spark RDD实现分组求TopN

3.11 案例分析：Spark RDD实现二次排序

3.12 案例分析：Spark RDD计算成绩平均分

3.13 案例分析：Spark RDD倒排索引统计每日新增用户

3.14 案例分析：Spark RDD读写HBase

3.15 案例分析：Spark RDD数据倾斜问题的解决

3.16 动手练习

第4章 Spark内核源码分析

4.1 Spark集群启动原理分析

4.2 Spark应用程序提交原理分析

4.3 Spark作业工作原理分析

4.4 Spark检查点原理分析

第5章 Spark SQL结构化数据处理引擎

5.1 什么是Spark SQL

5.2 DataFrame和Dataset

5.3 Spark SQL的基本使用

5.4 Spark SQL数据源

5.5 Spark SQL内置函数

5.6 案例分析：使用Spark SQL实现单词计数

5.7 案例分析：Spark SQL与Hive的整合

5.8 案例分析：Spark SQL读写MySQL

5.9 案例分析：Spark SQL每日UV统计

5.10 案例分析：Spark SQL热点搜索词统计

5.11 综合案例：Spark SQL智慧交通数据分析

5.12 动手练习

第6章 Kafka分布式消息系统

6.1 什么是Kafka

6.2 Kafka架构

6.3 主题与分区

6.4 分区副本

6.5 消费者组

6.6 数据存储机制

6.7 集群环境搭建

6.8 命令行操作

6.9 Java API操作

6.10 案例分析：Kafka生产者拦截器

6.11 动手练习

第7章 Spark Streaming实时流处理引擎

7.1 什么是Spark Streaming

7.2 Spark Streaming工作原理

7.3 输入DStream和Receiver

7.4 第一个Spark Streaming程序

7.5 Spark Streaming数据源

7.6 DStream操作

7.7 案例分析：Spark Streaming按批次累加单词数量

7.8 案例分析：Spark Streaming整合Kafka计算实时单词数量

7.9 案例分析：Spark Streaming实时用户日志黑名单过滤

7.10 综合案例：微博用户行为分析

7.11 动手练习

第8章 Structured Streaming结构化流处理引擎

8.1 什么是Structured Streaming

8.2 Structured Streaming单词计数

8.3 Structured Streaming编程模型

8.4 Structured Streaming查询输出

8.5 Structured Streaming窗口操作

8.6 案例分析：Structured Streaming整合Kafka实现单词计数

8.7 动手练习

第9章 GraphX图计算引擎

9.1 什么是GraphX

9.2 第一个GraphX程序

9.3 GraphX数据结构

9.4 GraphX图操作

9.5 案例分析：使用GraphX计算社交网络中粉丝的平均年龄

9.6 动手练习