Storm源码分析电子书

前言

致谢

第1章 总体架构与代码结构

1.1 Storm的总体结构

1.2 Storm的元数据

1.3 Storm的代码结构

第2章 搭建Storm集群

2.1 搭建单机Storm集群

2.2 搭建多机Storm集群

2.3 WordCountTopology介绍

第3章 Storm编程基础

3.1 Fields定义

3.2 Tuple接口

3.3 常用声明接口

3.4 Spout输出收集器

3.5 Bolt输出收集器

3.6 组件接口

3.7 Spout接口

3.8 Bolt接口

3.9 Storm数据结构

3.10 基本Topology构建器

3.11 异常处理

第4章 基础函数和工具类

4.1 计时器

4.2 async-loop

4.3 event-manager

4.4 even-sampler

4.5 ZooKeeper工具类

4.6 LocalState

4.7 ClusterState

4.8 StormClusterState

第5章 通信机制

5.1 进程间通信

5.2 进程内通信

第6章 Nimbus

6.1 Nimbus服务接口定义

6.2 Nimbus相关的数据结构

6.3 Nimbus中的线程介绍

6.4 Topology状态转移

6.5 启动Nimbus服务

6.6 关闭Nimbus服务

6.7 主要服务方法

6.8 主要辅助方法

第7章 Scheduler

7.1 IScheduler接口

7.2 EvenScheduler

7.3 DefaultScheduler

7.4 IsolationScheduler

7.5 调度示例

第8章 Supervisor

8.1 与Supervisor相关的数据结构

8.2 Supervisor中的线程

8.3 启动Supervisor

8.4 关闭Supervisor

8.5 重要方法介绍

第9章 Worker

9.1 Worker中的数据

9.2 Worker中的计时器

9.3 创建Worker

9.4 关闭Worker

9.5 重要辅助方法介绍

9.6 小结

第10章 Executor

10.1 Executor的数据

10.2 Executor的输入和输出

10.3 Spout类型的Executor

10.4 Bolt类型的Executor

10.5 创建Executor

10.6 辅助函数介绍

10.7 小结

第11章 Task

11.1 Task的上下文对象

11.2 创建Task数据

11.3 mk-tasks-fn函数

11.4 send-unanchored

11.5 创建Task

11.6 Storm中传输的消息以及序列化

第12章 Storm的Ack框架

12.1 Acker Bolt的实现分析

12.2 启动消息跟踪

12.3 消息跟踪

12.4 Ack机制的例子

第13章 系统运行统计

13.1 基础数据结构以及更新算法

13.2 Storm中的统计信息

13.3 运行统计的Thrift结构

第14章 系统运行统计的另一种实现

14.1 内置统计信息的计算

14.2 内置统计类型

14.3 统计触发消息

14.4 运行统计收集节点

14.5 SystemBolt

第15章 事务Topology的实现

15.1 事务Topology的实现概述

15.2 ITransactionalSpout接口

15.3 协调Spout节点的执行器

15.4 CoordinatedBolt的实现分析

15.5 分区的事务类型

15.6 分区的模糊事务Spout

15.7 事务Topology的构建器

第16章 事务Topology示例

16.1 例子代码

16.2 构建Topology

16.3 事务处理示例

第17章 Trident的Spout节点

17.1 ITridentSpout接口

17.2 适配IRichSpout接口

17.3 适配IBatchSpout接口

17.4 Trident中分区的Spout类型

17.5 模糊事务类型的Spout节点

17.6 构建Spout节点

第18章 Trident的存储

18.1 存储的基本接口

18.2 MapState接口的实现

18.3 值的序列化方法

18.4 数据更新接口

18.5 存储更新接口

18.6 创建存储对象

第19章 Trident消息

19.1 ValuePointer

19.2 Factory接口及其实现

19.3 消息工厂的例子

19.4 TridentTupleView

19.5 ComboList

第20章 Trident操作与处理节点

20.1 操作的基本接口

20.2 Aggregator实现

20.3 用户接口及其实现

20.4 所有处理节点的上下文

20.5 Trident的输出收集器

20.6 Trident的处理节点

20.7 聚集器的执行

第21章 Trident流的基本操作

21.1 流的成员变量和基础方法

21.2 流映射操作

21.3 流的分组操作

21.4 流的逐行操作

21.5 流的分区操作

21.6 流的单聚集器聚集操作

21.7 流的多聚集器聚集操作

21.8 流的聚集操作

21.9 流的分区写入操作

21.10 查询操作

21.11 流的全局写入操作

21.12 流的操作与有向图构建

21.13 分组流

21.14 利用流操作来构建Topology的例子

第22章 Trident中流的交互操作

22.1 基本接口

22.2 JoinerMultiReducer

22.3 GroupedMultiReducerExecutor

22.4 MultiReducerProcessor

22.5 连接操作

22.6 流合并操作

第23章 Trident中的Bolt节点

23.1 SubTopologyBolt

23.2 Trident中的Bolt执行器

第24章 Trident的执行优化

24.1 节点类型

24.2 执行优化算法

第25章 Trident与DRPC

25.1 DRPC服务器

25.2 DRPC的客户端

25.3 DRPC中Spout节点

25.4 DRPC Spout的执行器

25.5 completeDRPC操作

25.6 返回DRPC结果

第26章 Trident的Topology构建器

26.1 基本工具函数

26.2 TridentTopologyBuilder

26.3 一个例子

第27章 多语言

27.1 ShellProcess

27.2 ShellBolt

27.3 ShellSpout

第28章 Storm中的配置项