大数据分析与应用基础电子书

前言

第1章 大数据计算分析技术概述

1.1 大数据核心技术

1.1.1 分布式存储

1.1.2 分布式计算

1.2 大数据技术生态圈

1.3 数据分析与大数据分析

1.3.1 数据分析

1.3.2 大数据分析

1.3.3 大数据计算分析的价值

1.4 大数据计算框架

1.4.1 大数据计算框架分类

1.4.2 批处理框架

1.4.3 流式计算框架

1.4.4 内存计算框架

1.4.5 图计算框架

1.5 大数据计算分析平台

1.5.1 DANA Studio

1.5.2 MaxCompute

1.5.3 LeapHD

1.6 本章小结

1.7 课后作业

第2章 大数据计算分析常用算法及场景

2.1 分类

2.1.1 什么是分类

2.1.2 分类过程

2.1.3 典型分类算法

2.1.4 案例：海洋生物分类

2.2 聚类

2.2.1 什么是聚类

2.2.2 聚类过程

2.2.3 典型聚类算法

2.2.4 案例：鸢尾花分类

2.3 回归分析

2.3.1 什么是回归分析

2.3.2 回归分析分类

2.3.3 常用回归分析软件

2.3.4 案例：广告投入与产品销量预测

2.4 关联规则

2.4.1 什么是关联规则

2.4.2 关联规则挖掘过程

2.4.3 关联规则典型算法

2.4.4 案例：毒蘑菇的相似特征

2.5 Web数据挖掘

2.5.1 什么是Web数据挖掘

2.5.2 Web数据挖掘的类型及流程

2.5.3 典型Web数据挖掘技术

2.5.4 案例：支付中的交易欺诈侦测

2.6 本章小结

2.7 课后作业

第3章 大数据离线计算分析技术

3.1 MapReduce计算模型

3.1.1 并行计算

3.1.2 分布式计算

3.1.3 MapReduce计算框架

3.1.4 MapReduce键值对和输入输出

3.1.5 MapReduce工作流程

3.1.6 MapReduce应用编程

3.2 交互式计算模式

3.2.1 交互式数据处理

3.2.2 Hive在交互式计算中的应用

3.2.3 HBase在交互式计算中的应用

3.2.4 Spark SQL在交互式计算中的应用

3.2.5 Eagles在交互式计算中的应用

3.3 图并行计算框架

3.3.1 图并行计算

3.3.2 图存储模式

3.3.3 图计算框架

3.3.4 Spark GraphX框架及编程实例

3.4 大数据离线分析案例：Web日志数据分析

3.4.1 需求描述

3.4.2 数据来源

3.4.3 数据处理

3.4.4 效果呈现

3.5 本章小结

3.6 课后作业

第4章 大数据流式计算分析技术

4.1 大数据流式计算概述

4.1.1 流式计算

4.1.2 分布式流计算

4.2 Storm流式计算框架

4.2.1 Storm流计算概述

4.2.2 Storm流计算架构

4.2.3 Storm工作机制

4.2.4 Storm流计算编程案例

4.3 Spark Streaming流计算框架

4.3.1 Spark关键组件

4.3.2 Spark Streaming数据流

4.3.3 Spark Streaming工作原理

4.3.4 Spark Streaming流计算编程模型

4.3.5 Spark Streaming流计算编程案例

4.4 大数据内存计算框架

4.4.1 内存计算概述

4.4.2 内存计算中分布式缓存体系

4.4.3 内存数据库

4.4.4 Spark SQL在内存计算中的应用

4.5 大数据流式计算应用案例：Storm单词计数

4.5.1 功能描述

4.5.2 关键代码

4.5.3 RandomSentenceSpout的实现及生命周期

4.5.4 SplitSentenceBolt的实现及生命周期

4.5.5 WordCountBolt的实现及生命周期

4.6 本章小结

4.7 课后作业

第5章 机器学习在大数据计算分析中的应用

5.1 机器学习概述

5.1.1 机器学习的定义

5.1.2 大数据与机器学习

5.1.3 人工智能、机器学习及深度学习

5.1.4 机器学习的类型

5.2 Spark MLlib机器学习库

5.2.1 Spark MLBase分布式机器学习系统

5.2.2 Spark MLlib支持的机器学习算法

5.2.3 Spark MLlib与Spark ML Pipeline

5.2.4 使用Spark MLlib实现K⁃means聚类分析

5.3 TensorFlow计算框架

5.3.1 TensorFlow概述

5.3.2 TensorFlow编程思想

5.3.3 TensorFlow架构

5.3.4 基于TensorFlow的机器学习应用实例

5.4 本章小结

5.5 课后作业

6.1 项目背景

6.2 进出口管理风险评估大数据平台需求分析

6.2.1 平台功能需求

6.2.2 平台开发软件需求

6.2.3 平台硬件环境需求

6.2.4 平台数据需求

6.3 进出口管理风险评估大数据平台设计及实现

6.3.1 基于DANA 4.0的大数据开发流程

6.3.2 进出口管理风险评估大数据平台的系统架构

6.3.3 进出口管理风险评估大数据平台的数据采集

6.3.4 进出口管理风险评估大数据平台的数据存储

6.3.5 进出口管理风险评估大数据平台的数据分析

6.3.6 进出口管理风险评估大数据平台的实现效果

6.4 本章小结

6.5 课后作业

参考文献