分布式实时计算框架原理及实践案例电子书

内容简介

专家力荐

前言

第1章 分布式实时计算框架介绍

1.1 分布式计算Hadoop

1.2 分布式实时计算

1.2.1 Spark Streaming

1.2.2 Storm

1.2.3 其他框架

1.3 为什么自研

1.4 总结

第2章 light_drtc简介及使用说明

2.1 light_drtc框架简介

2.2 light_drtc代码结构

2.3 light_drtc重要配置项

2.4 light_drtc和Storm比较

2.5 light_drtc使用说明

2.5.1 ACN（AN和CN整合）作为独立服务

2.5.2 CN、AN作为独立服务

2.5.3 任务计算JN

2.6 总结

第3章 light_drtc核心技术实现

3.1 light_drtc技术架构

3.2 light_drtc计算框架设计思想

3.2.1 CN设计思想

3.2.2 AN多主模式设计思想

3.2.3 JN设计思想

3.3 light_drtc核心技术的实现

3.3.1 实时收集数据CN

3.3.2 任务协调管理AN

3.3.3 任务计算JN

3.4 总结

第4章 消息队列MQ

4.1 消息队列使用场景

4.2 消息队列原理

4.2.1 MQ使用流程

4.2.2 MQ基本概念

4.2.3 MQ通信模式

4.2.4 目前知名MQ比较

4.3 MQ消费状态监控

4.3.1 KafkaOffsetMonitor介绍

4.3.2 KafkaOffsetMonitor部署

4.4 RabbitMQ和Kafka的基本使用

4.4.1 RabbitMQ读写实例

4.4.2 Kafka读写实例

4.5 总结

第5章 内存数据库Redis3.0及SSDB

5.1 Redis相关介绍

5.1.1 Redis3.0集群架构

5.1.2 Redis3.0集群选举与容错

5.1.3 SSDB简介

5.2 Redis3.0集群搭建

5.2.1 集群所依赖的Ruby环境

5.2.2 Redis集群创建

5.2.3 Redis集群验证

5.2.4 SSDB简单部署

5.3 Redis管理及使用

5.3.1 Redis基本使用

5.3.2 Redis管理

5.4 Redis客户端应用

5.4.1 Redis3.0客户端

5.4.2 SSDB客户端

5.5 本地缓存Guava Cache

5.5.1 认识Guava Cache

5.5.2 Guava Cache使用

5.5.3 Java客户端使用

5.6 总结

第6章 NoSQL：MongoDB3.0和HBase1.0

6.1 MongoDB3.0和HBase1.0新特性

6.1.1 MongoDB3.0新特性

6.1.2 HBase1.0新特性

6.1.3 MongoDB和HBase比较

6.2 MongoDB3.0集群和索引

6.2.1 MongoDB3.0集群

6.2.2 Mongo索引介绍

6.3 HBase底层实现介绍

6.3.1 HBase相关Hadoop体系

6.3.2 HBase系统架构

6.4 Mongo和HBase客户端使用

6.4.1 Mongo客户端

6.4.2 HBase客户端

6.5 总结

第7章 全文检索：ElasticSearch2.x

7.1 认识ElasticSearch和Solr

7.1.1 ElasticSearch和Solr基本介绍

7.1.2 ES基本概念

7.1.3 ES和SolrCloud集群结构

7.1.4 ES使用案例

7.2 ES和Solr比较分析

7.2.1 ES和Solr发展比较

7.2.2 ES和Solr综合比较

7.3 ES集群介绍

7.3.1 插件安装

7.3.2 中文分词安装

7.3.3 ES2.X集群节点类型

7.3.4 ES配置事项

7.4 ES客户端使用

7.4.1 ES客户端连接

7.4.2 ES基本操作

7.4.3 ES高级使用

7.5 ES在自研框架中的作用

7.6 总结

第8章 微服务架构通信——RPC和Web Service

8.1 微服务架构由来

8.1.1 微服务与SOA比较

8.1.2 微服务架构的优缺点

8.1.3 微服务雪崩效应的防范

8.2 RPC介绍及实践

8.2.1 Thrift/Nifty介绍

8.2.2 Avro介绍

8.2.3 Dubbo/Dubbox介绍

8.2.4 GRPC/ProtoBuf介绍

8.2.5 ZeroC ICE

8.3 Web Service介绍及实践

8.3.1 SOAP和Rest

8.3.2 JWS（JDK自身实现Web Service）

8.3.3 Jetty：嵌入式Servlet容器

8.3.4 基于Spring MVC

8.3.5 其他Web Service框架

8.4 总结

第9章 综合实例：新闻推荐中的用户画像近实时更新

9.1 个性化推荐系统组成

9.1.1 用户行为收集

9.1.2 行为日志解析

9.1.3 常用推荐算法

9.1.4 用户画像数据仓库

9.1.5 元数据索引库

9.1.6 用户推荐服务

9.2 新闻推荐中用户画像近实时更新设计

9.2.1 新闻推荐中用户画像构成

9.2.2 新闻推荐中用户画像标签数据字典

9.2.3 新闻推荐用户画像实时更新流程

9.3 新闻推荐用户画像近实时更新技术实现

9.3.1 Storm接入Kafka实时计算实例

9.3.2 Spark Streaming 接入Kafka实时计算实例

9.3.3 Light_drtc接入Kafka

9.3.4 用户画像实时更新核心实现

9.4 总结