Kafka理论与实战电子书

内容简介

1.1 Kafka是什么

1.2 消息队列

1.3 使用Kafka的几个理由

1.4 Kafka的核心概念

1.4.1 主题

1.4.2 分区

1.4.3 副本

1.4.4 主题、分区、副本之间的关系

1.5 Kafka的使用初体验

1.5.1 在Windows中单机安装、使用Kafka

1.5.2 Kafka发送消息和消费消息

2.1 Kafka集群环境搭建过程

2.2 Kafka环境启动

2.3 Kafka集群的使用

2.3.1 Kafka主题常用命令

2.3.2 Kafka生产者常用命令

2.3.3 Kafka消费者常用命令

2.3.4 Kafka消费者组常用命令

2.4 Kafka自带性能测试工具的使用

2.5 Windows中的Kafka集群环境搭建

2.5.1 Windows中的Kafka集群环境搭建过程

2.5.2 Windows中的Kafka常用命令

2.5.3 Windows中的Kafka消费者组常用命令

3.1 生产者

3.2 生产者分区分配

3.2.1 指定partition

3.2.2 不指定partition指定key

3.2.3 不指定partition也不指定key

3.3 生产者发送消息

3.3.1 拦截器

3.3.2 序列化器

3.3.3 分区器

3.3.4 应用示例

3.4 消息发送

3.5 Kafka事务

3.5.1 Kafka幂等性

3.5.2 Kafka事务api

3.5.3 Kafka事务应用场景

3.5.4 Kafka事务示例

3.6 生产者数据有序性

3.7 生产者数据可靠性

3.8 生产者乱序

4.1 消费者

4.2 消费模式

4.3 消费者组

4.4 消费者消费过程

4.5 消费者消费分区分配策略

4.6 消费者消费消息

4.6.1 反序列化器

4.6.2 拦截器

4.7 消费者偏移量

4.8 AR、ISR、OSR

4.9 HW、LEO

4.10 分区副本故障

4.11 消息的漏消费与重复消费

4.12 消息有序性

4.12.1 消息生产有序

4.12.2 消息消费有序

4.13 消息消费的几种方式

4.13.1 多线程消费

4.13.2 线程池消费

4.14 消费分区重平衡问题

5.1 Kafka broker的位置

5.1.1 ZooKeeper在Kafka中的作用

5.1.2 ZooKeeper主要目录的作用

5.2 消息存储

5.2.1 log文件与index文件的关系

5.2.2 log文件与timeindex文件的关系

5.3 消息格式

5.4 Kafka消息保留机制

5.4.1 消息保留策略

5.4.2 消息清理策略

5.5 消息压缩

5.6 控制器

5.7 broker端配置参数详解

6.1 Spring Boot集成Kafka

6.2 监听器消费Kafka消息

6.2.1 设置消费者数量

6.2.2 消费者手动提交偏移量

6.3 线程池消费Kafka消息

6.4 顺序消费

6.5 重复消费幂等处理

6.5.1 集成mybatis-plus

6.5.2 生成业务处理类

6.6 Kafka常用配置

6.6.1 生产者配置

6.6.2 消费者配置

6.6.3 broker端配置

6.7 Kafka使用综合示例

6.7.1 生产者示例

6.7.2 消费者示例

6.8 Kafka与Flink集成

7.1 消息重复问题

7.2 消息丢失问题

7.3 消息积压问题

7.3.1 消息积压判断方法

7.3.2 消息积压产生的原因

7.3.3 消息积压解决方法

7.3.4 消息积压示例

7.4 提高消费者消费能力问题

7.5 消息重复消费问题

7.5.1 消息重复消费判断方法

7.5.2 消息重复消费的原因

7.5.3 消息重复消费解决方法

7.6 消息消费有序性问题

7.6.1 单分区单线程有序消费

7.6.2 单主题多分区多线程有序消费

7.6.3 单分区线程池有序消费

7.7 消息精确一次消费

7.8 Kafka环境隔离问题

8.1 安装MySQL与Kafka Eagle

8.1.1 安装MySQL数据库

8.1.2 安装Kafka Eagle

8.2 使用Kafka Eagle监控数据

8.3 集群增加broker节点

8.3.1 增加节点

8.3.2 topic分区重分配

8.4 集群减少broker节点

8.4.1 删除节点

8.4.2 分区分配情况

8.5 增加分区

8.6 分区副本的增加和减少

8.6.1 分区副本的增加

8.6.2 分区副本的减少

9.1 Kafka源码阅读环境搭建

9.1.1 Scala安装

9.1.2 Gradle安装

9.1.3 ZooKeeper安装

9.1.4 Kafka源码下载

9.2 Kafka生产者源码

9.2.1 生产者测试入口

9.2.2 生产者初始化

9.2.3 生产者组装待发送的消息

9.2.4 生产者发送消息

9.3 Kafka消费者源码

9.3.1 消费者测试入口

9.3.2 消费者初始化

9.3.3 消费者消息拉取

9.3.4 消费者消息拉取过程分析

9.3.5 偏移量提交

9.4 Kafka服务端源码

9.4.1 Reactor线程模型

9.4.2 Kafka broker测试入口

9.4.3 Kafka网络模块初始化

9.4.4 Kafka请求处理

9.4.5 Kafka响应处理

10.1 生产者可靠性

10.2 消费者可靠性

10.3 broker可靠性

10.4 Kafka调优

10.5 Kafka集群规划