Flink与Kylin深度实践电子书

前折页

书名页

版权

致数字化人才的一封信

前言

目录

第1章 Flink及其运行模式简介

1.1 Flink介绍

1.2 Flink的特性

1.3 功能模块

1.4 编程模型

1.5 重新编译

1.6 任务提交模型

1.7 部署运行模式

1.8 本章小结

第2章 Flink的部署安装及入门案例

2.1 local模式部署安装

2.2 standalone模式部署安装

2.3 standalone模式的HA环境

2.4 standalone模式在HA环境下提交任务

2.5 Flink on YARN模式

2.5.1 单个YARN Session模式

2.5.2 多个YARN Session模式

2.5.3“flink run”脚本分析

2.6 入门案例

2.6.1 实时处理程序实现

2.6.2 离线批量处理程序实现

2.7 shell命令行代码调试

2.7.1 批量处理代码调试

2.7.2 实时处理代码调试

2.8 本章小结

第3章 Flink实时处理之DataStream

3.1 DataStream的数据源

3.1.1 Socket数据源

3.1.2 文件数据源

3.1.3 从集合中获取数据

3.1.4 自定义数据源

3.2 DataStream常用算子

3.2.1 transformation算子

3.2.2 partition算子

3.2.3 sink算子

3.3 窗口和时间

3.3.1 窗口的类型

3.3.2 窗口的应用

3.3.3 窗口数值聚合统计

3.3.4 时间的类型

3.4 用watermark解决乱序与数据延迟问题

3.4.1 watermark的作用

3.4.2 watermark解决数据延时问题

3.4.3 watermark如何生成

3.4.4 watermark处理乱序数据

3.4.5 比watermark更晚的数据如何解决

3.4.6 多并行度的watermark机制

3.5 DataStream的状态保存和恢复

3.5.1 keyed state的托管状态

3.5.2 operator state的托管状态

3.5.3 状态管理之StateBackend

3.5.4 用checkpoint保存数据

3.5.5 用savepoint保存数据

3.6 DataStream集成Kafka

3.6.1 导入jar包

3.6.2 将Kafka作为Flink的source

3.6.3 将Kafka作为Flink的sink

3.7 本章小结

第4章 Flink批量处理之DataSet

4.1 DataSet的内置数据源

4.1.1 文件数据源

4.1.2 集合数据源

4.2 DataSet常用算子

4.2.1 transformation算子

4.2.2 partition算子

4.2.3 sink算子

4.3 DataSet的参数传递

4.4 DataSet连接器

4.4.1 文件系统连接器

4.4.2 Flink集成HBase之数据读取

4.4.3 Flink读取数据写入HBase

4.5 广播变量、累加器与分布式缓存

4.5.1 广播变量

4.5.2 累加器

4.5.3 分布式缓存

4.6 本章小结

第5章 Flink的Table与SQL

5.1 Table与SQL简介

5.2 为什么需要SQL

5.3 Table与SQL的语法解析

5.3.1 创建TableEnvironment对象

5.3.2 注册表

5.3.3 查询表

5.3.4 注册数据保存表

5.3.5 Table与SQL的数据查询执行原理

5.3.6 DataStream与DataSet集成

5.4 Table与SQL编程开发

5.4.1 使用SQL读取CSV文件并进行查询

5.4.2 DataStream与表的互相转换

5.4.3 DataSet与表的互相转换

5.4.4 SQL处理Kafka的JSON格式数据

5.5 本章小结

第6章 Flink数据去重与数据连接

6.1 数据去重

6.1.1 基于MapState实现流式去重

6.1.2 基于SQL实现流式去重

6.2 流的连接实现

6.2.1 使用CoGroup实现流连接

6.2.2 interval join机制

6.2.3 SQL实现连接操作

6.3 本章小结

第7章 Flink中的复杂事件处理（CEP）机制

7.1 CEP简介

7.2 CEP中的模式

7.2.1 个体模式（Individual Pattern）

7.2.2 组合模式（Combining Pattern）

7.2.3 模式组（Group of Patterns）

7.3 CEP综合案例

7.3.1 用户IP变换报警

7.3.2 高温预警

7.3.3 支付超时监控

7.4 本章小结

第8章 Flink调优与监控

8.1 监控指标

8.1.1 系统监控指标

8.1.2 自定义监控指标

8.2 反压机制与监控

8.2.1 反压线程采样

8.2.2 反压线程配置

8.3 checkpoint监控

8.4 checkpoint调优

8.4.1 如何衡量checkpoint的速度大小

8.4.2 相邻checkpoint的间隔时间设置

8.4.3 checkpoint资源设置

8.4.4 checkpoint的Task本地性恢复

8.4.5 异步checkpoint设置

8.4.6 checkpoint数据压缩

8.5 内存管理调优

8.5.1 内存托管

8.5.2 内存段管理

8.5.3 内存段与字节缓冲区

8.5.4 内存段对垃圾收集器的影响

8.5.5 内存配置

8.5.6 堆外内存

8.6 本章小结

第9章 基于Flink实现实时数据同步解析

9.1 实时数仓架构

9.2 MySQL数据实时同步

9.2.1 MySQL的binlog介绍

9.2.2 maxwell简介

9.2.3 开启MySQL的binlog功能

9.2.4 安装maxwell实现实时采集MySQL数据

9.2.5 启动服务

9.2.6 插入数据并进行测试

9.3 数据库建表

9.4 开发模拟数据生成模块

9.4.1 创建Maven工程并导入jar包

9.4.2 开发Flink程序批量导入商品表数据

9.4.3 开发订单生成程序模拟订单持续生成

9.5 数据获取模块开发

9.5.1 全量拉取数据

9.5.2 增量拉取数据

9.6 本章小结

第10章 基于Kylin的实时数据统计

10.1 Kylin简介

10.1.1 为什么要使用Kylin

10.1.2 Kylin的使用场景

10.1.3 Kylin如何解决海量数据的查询问题

10.2 Kylin基础知识

10.2.1 数据仓库、OLAP、BI

10.2.2 事实表与维度表

10.2.3 维度与度量

10.2.4 数据仓库常用建模方式

10.2.5 数据立方体

10.2.6 Kylin的工作原理

10.2.7 Kylin的体系架构

10.2.8 Kylin的特点

10.3 Kylin环境搭建

10.3.1 单机模式安装

10.3.2 集群环境搭建

10.4 Kylin的使用

10.4.1 创建Hive数据

10.4.2 创建Kylin工程

10.4.3 为Kylin添加模型

10.4.4 通过Kylin来构建Cube

10.4.5 构建Cube

10.4.6 数据查询分析

10.5 Kylin的构建流程

10.6 Cube构建算法

10.6.1 逐层构建法

10.6.2 快速构建法

10.7 Cube构建的优化

10.7.1 使用衍生维度（Derived Dimension）

10.7.2 使用聚合组（Aggregation Group）

10.7.3 并发粒度优化

10.7.4 rowKey优化

10.7.5 增量Cube构建

10.8 备份以及恢复Kylin的元数据

10.9 Kylin的垃圾清理

10.10 BI工具集成

10.11 使用Kylin分析HBase数据

10.12 本章小结

后折页