Spark核心技术与高级应用电子书

前言

基础篇

第1章 Spark简介

1.1 什么是Spark

1.2 Spark的重要扩展

1.3 本章小结

第2章 Spark部署和运行

2.1 部署准备

2.2 Spark部署

2.3 运行Spark应用程序

2.4 本章小结

第3章 Spark程序开发

3.1 使用Spark Shell编写程序

3.2 构建Spark的开发环境

3.3 独立应用程序编程

3.4 本章小结

第4章 编程模型

4.1 RDD介绍

4.2 创建RDD

4.3 RDD操作

4.4 共享变量

4.5 本章小结

第5章 作业执行解析

5.1 基本概念

5.2 作业执行流程

5.3 运行时环境

5.4 应用程序运行实例

5.5 本章小结

第6章 Spark SQL与DataFrame

6.1 概述

6.2 DataFrame

6.3 数据源

6.4 分布式的SQL Engine

6.5 性能调优

6.6 数据类型

6.7 本章小结

第7章 深入了解Spark Streaming

7.1 基础知识

7.2 DStream操作

7.3 性能调优

7.4 容错处理

7.5 一个例子

7.6 本章小结

第8章 Spark MLlib与机器学习

8.1 机器学习概述

8.2 Spark MLlib介绍

8.3 Spark MLlib库

8.4 ML库

8.5 本章小结

第9章 GraphX图计算框架与应用

9.1 概述

9.2 Spark GraphX架构

9.3 GraphX编程

9.4 应用场景

9.5 本章小结

第10章 SparkR（R on Spark）

10.1 概述

10.2 安装SparkR

10.3 SparkR的运行与应用示例

10.4 本章小结

实战篇

第11章 大数据分析系统

11.1 背景

11.2 数据格式

11.3 应用架构

11.4 业务实现

11.5 本章小结

第12章 系统资源分析平台

12.1 业务背景

12.2 应用架构

12.3 代码实现

12.4 结果验证

12.5 本章小结

第13章 在Spark上训练LR模型

13.1 逻辑回归简介

13.2 数据格式

13.3 MLlib中LR模型源码介绍

13.4 实现案例

13.5 本章小结

第14章 获取二级邻居关系图

14.1 理解PageRank

14.2 PageRank算法基于Spark的实现

14.3 基于PageRank的二级邻居获取

14.4 本章小结

高级篇

第15章 调度管理

15.1 调度概述

15.2 调度器

15.3 本章小结

第16章 存储管理

16.1 硬件环境

16.2 Storage模块

16.3 Shuffle数据持久化

16.4 本章小结

第17章 监控管理

17.1 Web界面

17.2 Spark UI历史监控

17.3 监控工具

17.4 本章小结

第18章 性能调优

18.1 文件的优化

18.2 序列化数据

18.3 缓存

18.4 共享变量

18.5 流水线优化

18.6 本章小结

扩展篇

第19章 Spark-jobserver实践

19.1 Spark-jobserver是什么

19.2 编译、部署及体验

19.3 Spark-jobserver程序实战

19.4 使用场景：用户属性分布计算

19.5 本章小结

第20章 Spark Tachyon实战

20.1 Tachyon文件系统

20.2 Tachyon入门

20.3 容错机制

20.4 本章小结