实时数据处理和分析指南电子书

内容提要

作者简介

前言

审稿人简介

资源与支持

第一部分 导言——熟悉实时分析

第1章 实时分析简介

1.1 大数据的定义

1.2 大数据的基础设施

1.3 实时分析——神话与现实

1.4 近实时解决方案——可用的架构

1.4.1 NRT的Storm解决方案

1.4.2 NRT的Spark解决方案

1.5 Lambda架构——分析可能性

1.6 物联网——想法与可能性

边缘分析

1.7 云——考虑NRT和物联网

1.8 小结

第2章 实时应用的基本组件

2.1 NRT系统及其构建模块

2.1.1 数据采集

2.1.2 流处理

2.1.3 分析层—服务终端用户

2.2 NRT的高级系统视图

2.3 NRT的技术视图

2.3.1 事件生产者

2.3.2 数据收集

2.3.3 代理

2.3.4 转换和处理

2.3.5 存储

2.4 小结

第二部分 搭建基础设施

第3章 了解和跟踪数据流

3.1 了解数据流

3.2 为数据提取安装基础设施

3.2.1 Apache Kafka

3.2.2 Apache NiFi

3.2.3 Logstash

3.2.4 Fluentd

3.2.5 Flume

3.3 将数据从源填到处理器——期望和注意事项

3.4 比较与选择适合用例的最佳实践

3.5 小试牛刀

设置Elasticsearch

3.6 小结

第4章 安装和配置Storm

4.1 Storm概述

4.2 Storm架构和组件

4.2.1 特征

4.2.2 组件

4.2.3 流分组

4.3 安装和配置Storm

4.3.1 安装ZooKeeper

4.3.2 配置Apache Storm

4.4 在Storm上实时处理任务

运行任务

4.5 小结

第5章 配置Apache Spark和Flink

5.1 安装并快速运行Spark

5.1.1 源码构建

5.1.2 下载Spark安装包

5.1.3 运行示例

5.2 安装并快速运行Flink

5.2.1 使用源码构建Flink

5.2.2 下载Flink

5.2.3 运行示例

5.3 安装并快速运行Apache Beam

5.3.1 Beam模型

5.3.2 运行示例

5.3.3 MinimalWordCount示例

5.4 Apache Beam中的平衡

5.5 小结

第三部分 Storm实时计算

第6章 集成Storm与数据源

6.1 RabbitMQ有效的消息传递

6.2 RabbitMQ交换器

6.2.1 直接交换器

6.2.2 RabbitMQ安装配置

6.2.3 RabbitMQ的发布和订阅

6.3 RabbitMQ与Storm集成

AMQPSpout

6.4 PubNub数据流发布者

6.5 将Storm和RMQ_PubNub传感器数据拓扑串在一起

6.6 小结

第7章 从Storm到Sink

7.1 安装并配置Cassandra

7.1.1 安装Cassandra

7.1.2 配置Cassandra

7.2 Storm和Cassandra拓扑

7.3 Storm和IMDB集成处理维度数据

7.4 集成表示层与Storm

使用Elasticsearch插件设置Grafana

7.5 小试牛刀

7.6 小结

第8章 Storm Trident

8.1 状态保持和Trident

8.1.1 事务性spout

8.1.2 不透明事务性spout

8.2 基本Storm Trident拓扑

8.3 Trident内部实现

8.4 Trident操作

8.4.1 函数

8.4.2 Map函数and FlatMap函数

8.4.3 peek函数

8.4.4 过滤器

8.4.5 窗口操作

8.4.6 聚合操作

8.4.7 分组操作

8.4.8 合并和组合操作

8.5 DRPC

8.6 小试牛刀

用以绑定spout和bolt的拓扑构建器

从事件流中过滤电话号码

从事件流中提取设备信息

8.7 小结

第四部分 使用Spark实现实时计算

第9章 运用Spark引擎

9.1 Spark概述

Spark框架和调度器

9.2 Spark的独特优势

何时避免使用Spark

9.3 Spark用例

9.4Spark架构——引擎内部的运行模式

9.5 Spark的语用概念

RDD——词如其名

9.6 Spark 2.x——数据框和数据集的出现

9.7 小结

第10章 运用Spark操作

10.1 Spark——封装和API

10.2 RDD语用探索

10.2.1 转换

10.2.2 动作

10.3 共享变量——广播变量和累加器

10.3.1 广播变量

10.3.2 累加器

10.4 小结

第11章 Spark Streaming

11.1 Spark Streaming的概念

11.2 Spark Streaming的简介和体系结构

11.3 Spark Streaming的封装结构

11.3.1 Spark Streaming API

11.3.2 Spark Streaming操作

11.4 连接Kafka和Spark Streaming

11.5 小结

第五部分 使用Flink实现实时分析

第12章 运用Apache Flink

12.1 Flink体系结构和执行引擎

12.2 Flink的基本组件和进程

12.3 将源流集成到Flink

12.3.1 和Apache Kafka集成

12.3.2 和RabbitMQ集成

12.4 Flink处理和计算

12.4.1 Datastream API

12.4.2 DataSet API

12.5 Flink持久化

和Cassandra集成

12.6 Flink CEP

12.7 Pattern API

12.7.1 检测模式

12.7.2 模式选择

12.7.3 示例

12.8 Gelly

Gelly API

12.9 小试牛刀

12.10 小结

第六部分 综合应用

第13章 用例研究

13.1 概述

13.2 数据建模

13.3 工具和框架

13.4 建立基础设施

13.5 实现用例

13.5.1 构建数据模拟器

13.5.2 Hazelcast加载器

13.5.3 构建Storm拓扑

13.6 运行用例

加载Hazelcast

13.7 小结