大数据技术与应用 第2版电子书

前言

第1章 大数据介绍

1.1 大数据概述

1.1.1 认识大数据

1.1.2 大数据的特征

1.1.3 大数据技术应用与基础

1.2 大数据的意义

1.2.1 大数据的国家战略意义

1.2.2 大数据的企业意义

1.2.3 我国大数据市场的预测

1.3 大数据的产业链分析

1.3.1 技术分析

1.3.2 运营分析

1.4 大数据与云计算

1.4.1 云计算概述

1.4.2 大数据与云计算的联系与区别

1.5 大数据与人工智能

1.5.1 人工智能概述

1.5.2 大数据与人工智能的联系与区别

1.6 实训1 用百度指数进行大数据分析

1.7 实训2 确定数据的不同类型

1.8 实训3 了解阿里云的使用

本章小结

习题1

第2章 大数据架构

2.1 大数据架构概述

2.1.1 大数据架构介绍

2.1.2 大数据架构分类

2.2 Hadoop架构

2.2.1 Hadoop介绍

2.2.2 Hadoop发展史

2.2.3 Hadoop核心组件

2.3 HDFS概述

2.3.1 HDFS的概念

2.3.2 HDFS的操作

2.4 MapReduce概述

2.4.1 MapReduce的概念

2.4.2 MapReduce设计方式

2.4.3 MapReduce架构

2.5 实训 Hadoop搭建（基于Windows7）

本章小结

习题2

第3章 数据采集与清洗

3.1 数据采集

3.1.1 数据采集介绍

3.1.2 数据采集平台

3.1.3 网络数据的采集

3.2 数据清洗

3.2.1 数据清洗概述

3.2.2 数据清洗的流程

3.2.3 数据清洗的常用方法

3.2.4 数据标准化概述

3.2.5 数据标准化的实例

3.3 数据仓库概述

3.3.1 数据仓库介绍

3.3.2 数据集成

3.3.3 数据变换

3.3.4 数据仓库的构建工具

3.4 Kettle工具概述

3.5 实训1 使用Python实现网络数据的采集

3.6 实训2 清洗Excel数据

3.7 实训3 清洗异常数据

3.8 实训4 使用Kettle进行数据排序

本章小结

习题3

第4章 大数据存储

4.1 大数据存储概述

4.1.1 大数据存储的概念

4.1.2 大数据存储的类型

4.2 大数据存储的方式

4.2.1 分布式存储

4.2.2 NoSQL数据库存储

4.2.3 NewSQL数据库存储

4.2.4 云数据库存储

4.3 大数据中的数据库应用

4.3.1 MySQL

4.3.2 Hive

4.3.3 MongoDB

4.3.4 LevelDB

4.3.5 Neo4j

4.4 实训 Redis的安装与应用

本章小结

习题4

第5章 大数据分析与挖掘

5.1 大数据分析概述

5.1.1 大数据分析的概念

5.1.2 大数据分析的类型

5.1.3 大数据分析的内容

5.1.4 大数据分析的方法

5.2 大数据挖掘概述

5.2.1 数据挖掘介绍

5.2.2 数据挖掘应用

5.3 数据挖掘算法

5.3.1 k-means算法

5.3.2 决策树算法

5.3.3 KNN算法

5.3.4 遗传算法

5.3.5 神经网络算法

5.4 实训 绘制决策树

本章小结

习题5

第6章 大数据可视化

6.1 大数据可视化概述

6.1.1 大数据可视化的概念

6.1.2 大数据可视化的流程

6.1.3 大数据可视化图表

6.2 大数据可视化方法

6.2.1 文本可视化

6.2.2 网络可视化

6.2.3 空间信息可视化

6.3 大数据可视化工具

6.3.1 Excel

6.3.2 ECharts

6.3.3 R语言

6.4 大数据可视化技术的应用

6.4.1 大数据可视化的应用场景

6.4.2 大数据可视化技术的行业应用

6.5 实训1 阅读并分析大数据可视化图表

6.6 实训2 上网查找大数据可视化资料

6.7 实训3 绘制流程图

6.8 实训4 绘制可视化图表

本章小结

习题6

第7章 数据治理

7.1 数据治理概述

7.1.1 认识数据治理

7.1.2 数据治理涉及的领域

7.2 数据治理的实施与关键因素

7.2.1 数据治理项目的实施

7.2.2 数据治理的关键因素

7.2.3 常见的数据治理实现工具

7.3 实训 绘制数据治理中的桑基图

本章小结

习题7

第8章 大数据安全

8.1 数据安全概述

8.1.1 数据安全的定义

8.1.2 数据安全的特点

8.2 大数据时代的安全挑战与解决方法

8.2.1 大数据安全面临的主要威胁

8.2.2 大数据安全的关键技术

8.3 实训1 Kettle数据脱敏

8.4 实训2 Kettle查看数据质量

本章小结

习题8

第9章 大数据的行业应用

9.1 旅游大数据

9.1.1 旅游大数据的发展

9.1.2 大数据对旅游行业的影响

9.1.3 大数据在旅游行业中的应用

9.1.4 旅游大数据的实现

9.1.5 旅游大数据面临的问题

9.2 教育大数据

9.2.1 教育大数据概述

9.2.2 教育大数据的实现

9.2.3 数字化校园

9.2.4 教育大数据的应用实例

9.3 金融大数据

9.3.1 金融大数据概述

9.3.2 金融大数据的应用

9.3.3 金融大数据的发展趋势

9.3.4 金融大数据面临的问题

9.4 实训1 分析大数据在旅游业中的作用

9.5 实训2 分析大数据在金融业中的作用

9.6 实训3 画出大数据的用户画像

本章小结

习题9

第10章 大数据综合实训

10.1 Linux操作系统的安装

10.2 数据仓库的简单应用

10.2.1 使用Kettle工具写入日志

10.2.2 使用Kettle工具连接不同的数据表

10.2.3 使用Kettle工具过滤数据表

10.3 绘制社交网络图

参考文献