大数据技术入门(第2版)电子书

封面页

书名页

版权页

内容简介

前言

目录

第1章　大数据时代

1.1　什么是大数据

1.1.1　四大特征

1.1.2　数据监管（Data Governance）

1.1.3　数据质量

1.1.4　大数据分析

1.1.5　大数据平台架构

1.2　大数据与云计算的关系

1.2.1　云计算产品概述

1.2.2　虚拟服务器

1.2.3　云存储

1.3　Hadoop和云平台的应用实例

1.3.1　云平台层面配置

1.3.2　大数据平台层面配置

1.4　数据湖（Data Lake）

1.5　企业如何走向大数据

1.5.1　业务价值维度

1.5.2　数据维度

1.5.3　现有IT环境和成本维度

1.5.4　数据治理维度

第2章　大数据软件框架

2.1　Hadoop框架

2.1.1　HDFS（分布式文件系统）

2.1.2　MapReduce（分布式计算框架）

2.1.3　YARN（集群资源管理器）

2.2　Spark（内存计算框架）

2.2.1　Spark SQL

2.2.2　Spark Streaming

2.3　实时流处理框架

2.4　云端消息队列

2.5　框架的选择

2.6　Hadoop发行版

2.7　Mac上安装Hadoop

2.7.1　在Mac上安装Hadoop

2.7.2　安装MySQL和Hive

2.8　Linux上安装Hadoop

2.8.1　配置Java环境

2.8.2　安装ntp和Python

2.8.3　安装和配置openssl

2.8.4　配置SSH无密码访问

2.8.5　安装Ambari和HDP

2.8.6　启动和停止服务

2.9　AWS云平台上安装Hadoop

第3章　大数据集群

3.1　集群实例分析

3.2　YARN

3.2.1　架构组成

3.2.2　YARN执行流程

3.3　资源的调度器

3.3.1　Capacity Scheduler

3.3.2　Fair Scheduler

3.3.3　资源调度实例分析

3.3.4　内存和CPU资源调度

3.4　深入研究Resource Manager

1．用户交互（最左边部分）

2．Node Manager管理（最右边部分）

3．Application Master管理（当中部分）

4．应用程序管理（当中部分）

5．安全管理（当中部分）

6．资源分配

7．状态管理

3.5　集群配置文件总览

3.5.1　yarn-site.xml

3.5.2　mapred-site.xml

3.6　自动伸缩（Auto Scaling）集群

3.7　迁移Hadoop集群

3.8　增加Instance

第4章　大数据存储：文件系统和云存储

4.1　HDFS shell命令

4.2　配置HDFS

4.2.1　配置文件

4.2.2　多节点配置

4.3　HDFS API编程

4.3.1　读取HDFS文件内容

4.3.2　写HDFS文件内容

4.3.3　WebHDFS

4.4　HDFS API总结

4.4.1　Configuration类

4.4.2　FileSystem抽象类

4.4.3　Path类

4.4.4　FSDataInputStream类

4.4.5　FSDataOutputStream类

4.4.6　IOUtils类

4.4.7　FileStatus类

4.4.8　FsShell类

4.4.9　ChecksumFileSystem抽象类

4.4.10　其他的HDFS API实例

4.4.11　综合实例

4.5　HDFS文件格式

4.5.1　SequenceFile

4.5.2　TextFile（文本格式）

4.5.3　RCFile

4.5.4　Avro

4.6　云存储S3

4.6.1　S3基本概念

4.6.2　S3管理控制台

4.6.3　S3 CLI

4.6.4　S3 SDK

4.6.5　分区

4.6.6　与EBS的比较

4.6.7　与Glacier的比较

第5章　大数据存储：数据库

5.1　NoSQL

5.2　HBase概述

5.2.1　HBase表结构

5.2.2　HBase系统架构

5.2.3　启动并操作HBase数据库

5.2.4　HBase Shell工具

5.3　HBase编程

5.3.1　增删改查API

5.3.2　过滤器

5.3.3　计数器

5.3.4　原子操作

5.3.5　管理API

5.4　其他NoSQL数据库

5.4.1　Cassandra

5.4.2　Impala

5.4.3　DynamoDB

5.4.4　Redshift

5.5　云数据库

5.5.1　什么是RDS

5.5.2　创建云数据库

5.5.3　查看云数据库信息

5.5.4　何时使用云端数据库

第6章　大数据访问：SQL引擎层

6.1　Phoenix

6.1.1　安装和配置Phoenix

6.1.2　在Eclipse上开发Phoenix程序

6.1.3　Phoenix SQL工具

6.1.4　Phoenix SQL语法

6.2　Hive

6.2.1　Hive架构

6.2.2　安装Hive

6.2.3　Hive CLI

6.2.4　Hive数据类型

6.2.5　Hive文件格式

6.2.6　Hive表定义

6.2.7　Hive加载数据

6.2.8　Hive查询数据

6.2.9　Hive UDF

6.2.10　Hive视图

6.2.11　HiveServer2

6.2.12　hive-site.xml需要的配置

6.2.13　HBase集成

6.2.14　XML和JSON数据

6.2.15　使用TEZ

6.2.16　Hive MetaStore

6.2.17　综合示例

6.3　Pig

6.3.1　Pig语法

6.3.2　Pig和Hive的使用场景之比较

6.4　ElasticSearch（全文搜索引擎）

6.4.1　全文索引的基础知识

6.4.2　安装和配置ElasticSearch

6.4.3　ElasticSearch API

6.5　Presto

第7章　大数据采集和导入

7.1　Flume

7.1.1　Flume架构

7.1.2　Flume事件

7.1.3　Flume源

7.1.4　Flume拦截器（Interceptor）

7.1.5　Flume通道选择器（Channel Selector）

7.1.6　Flume通道

7.1.7　Flume接收器

7.1.8　负载均衡和单点失败

7.1.9　Flume监控管理

7.1.10　Flume实例

7.2　Kafka

7.2.1　Kafka架构

7.2.2　Kafka与JMS的异同

7.2.3　Kafka性能考虑

7.2.4　消息传送机制

7.2.5　Kafka和Flume的比较

7.3　Sqoop

7.3.1　从数据库导入HDFS

7.3.2　增量导入

7.3.3　将数据从Oracle导入Hive

7.3.4　将数据从Oracle导入HBase

7.3.5　导入所有表

7.3.6　从HDFS导出数据

7.3.7　数据验证

7.3.8　其他Sqoop功能

7.4　Storm

7.4.1　Storm基本概念

7.4.2　Spout

7.4.3　Bolt

7.4.4　拓扑结构

7.4.5　Storm总结

7.5　Amazon Kinesis

7.6　其他工具

7.6.1　Embulk

7.6.2　Fluentd

第8章　大数据安全管控

8.1　数据主权和合规性

8.2　云端安全

8.2.1　身份验证和访问权限

8.2.2　角色

8.2.3　虚拟网络

8.2.4　安全组

8.3　云端监控

8.3.1　跟踪和审计

8.3.2　监控

8.3.3　基于Datadog的监控

8.4　云端备份和恢复

8.5　大数据安全

8.5.1　Kerberos

8.5.2　Apache Ranger

8.5.3　应用端安全

第9章　大数据快速处理平台：Spark

9.1　Spark框架

9.1.1　安装和配置Spark

9.1.2　Scala

9.2　Spark Shell

9.3　Spark编程

9.3.1　编写Spark API程序

9.3.2　使用sbt编译并打成JAR包

9.3.3　运行程序

9.4　RDD

9.4.1　RDD算子和RDD依赖关系

9.4.2　RDD转换操作

9.4.3　RDD行动（Action）操作

9.4.4　RDD控制操作

9.4.5　RDD实例

9.5　Spark SQL

9.5.1　DataFrame

9.5.2　RDD转化为DataFrame

9.5.3　JDBC数据源

9.5.4　Hive数据源

9.6　Spark Streaming

9.6.1　DStream编程模型

9.6.2　DStream操作

9.6.3　性能考虑

9.6.4　容错能力

第10章　大数据分析

10.1　数据科学

10.1.1　探索性数据分析

10.1.2　描述统计

10.1.3　数据可视化

10.2　预测分析

10.2.1　预测分析实例

10.2.2　回归（Regression）分析预测法

10.3　机器学习

10.3.1　机器学习的定义

10.3.2　机器学习分类

10.3.3　机器学习算法

10.3.4　机器学习框架

10.4　算法

10.4.1　分类算法

10.4.2　预测算法

10.4.3　聚类算法

10.4.4　关联分析

10.4.5　决策树

10.4.6　异常值分析算法

10.4.7　协同过滤（推荐引擎）算法

10.5　大数据分析总体架构

10.5.1　大数据平台和大数据分析的关系

10.5.2　大数据平台的核心功能

10.5.3　DMP

10.5.4　CDP

10.6　微服务

10.6.1　启动和停止Consul

10.6.2　服务注册

10.6.3　查询服务

10.6.4　服务状态检查

第11章　大数据环境自动化部署：Docker和Kubernetes

11.1　什么是Docker?

11.1.1　虚拟机

11.1.2　Linux容器

11.1.3　Docker的由来

11.1.4　Docker的用途

11.1.5　Docker和虚拟机的区别

11.2　镜像文件

11.3　Docker安装

11.4　Dockerfile文件

11.4.1　什么是Dockerfile

11.4.2　使用Dockerfile

11.4.3　发布镜像文件

11.4.4　仓库（Repository）

11.5　Service（服务）

11.5.1　yml文件

11.5.2　部署服务

11.5.3　伸缩（Scale）应用

11.6　Swarm

11.6.1　什么是Swarm集群

11.6.2　设置Swarm

11.6.3　在Swarm集群上部署应用

11.7　Stack

11.8　Kubernetes

11.8.1　集群

11.8.2　Pod

11.8.3　Node（节点）

11.8.4　Kubernetes Master

11.8.5　Replication Controller

11.8.6　Service

第12章　大数据开发管理

12.1　CI/CD（持续集成/持续发布）

12.1.1　CI

12.1.2　CD

12.2　代码管理工具GitHub

12.2.1　仓库（Repository）

12.2.2　分支（Branch）

12.2.3　提交（Commit）和请求合并（Pull request）

12.2.4　开源代码的操作

12.2.5　GitHub使用实例

12.3　项目管理JIRA

12.3.1　敏捷（Agile）开发和Scrum模式

12.3.2　Project（项目）

12.3.3　Issue（问题）

12.3.4　Sprint（冲刺）

12.3.5　Backlog（待办事项列表）

12.3.6　Priority（事项优先级）

12.3.7　状态和流程

12.3.8　JIRA常用报表

12.3.9　JIRA的主要功能总结

12.4　项目构建工具Maven

12.4.1　pom.xml

12.4.2　安装Maven

12.4.3　Maven仓库

12.4.4　Maven Java项目结构

12.4.5　命令列表

12.5　大数据软件测试

12.5.1　JUnit

12.5.2　Allure

附录1　数据量的单位级别

附录2　AWS EC2创建步骤

附录3　分布式监控系统Ganglia

附录4　auth-ssh脚本