时序大数据平台TDengine核心原理与实战电子书

内容提要

序言

前言

资源与支持

第一部分 基础知识

第1章 时序数据

1.1 什么是时序数据

1.2 时序数据的十大特征

1.3 时序数据的典型应用场景

1.4 处理时序数据所需要的核心模块

1.5 专用时序数据处理工具的必要性

1.6 选择时序数据处理工具的标准

第2章 TDengine入门

2.1 TDengine产品

2.2 TDengine主要功能与特性

2.3 TDengine与典型时序数据库的区别

2.4 TDengine安装和启动

2.4.1 在Linux操作系统中安装和启动

2.4.2 Docker方式安装和启动

2.4.3 故障排查

2.5 TDengine云服务

2.5.1 新用户注册

2.5.2 创建实例

2.6 通过taosBenchmark体验写入速度

2.7 通过 TDengine CLI体验查询速度

第3章 TDengine数据模型

3.1 基本概念

3.1.1 采集量

3.1.2 标签

3.1.3 数据采集点

3.1.4 表

3.1.5 超级表

3.1.6 子表

3.1.7 库

3.1.8 时间戳

3.2 数据建模

3.2.1 创建数据库

3.2.2 创建超级表

3.2.3 创建表

3.2.4 自动建表

3.2.5 创建普通表

3.2.6 多列模型与单列模型

第4章 TDengine数据写入

4.1 写入

4.1.1 一次写入一条

4.1.2 一次写入多条

4.1.3 一次写入多表

4.1.4 指定列写入

4.1.5 写入记录时自动建表

4.1.6 通过超级表写入

4.1.7 零代码方式写入

4.2 更新

4.3 删除

第5章 TDengine数据查询

5.1 基本查询

5.2 聚合查询

5.3 数据切分查询

5.4 窗口切分查询

5.4.1 时间戳伪列

5.4.2 时间窗口

5.4.3 状态窗口

5.4.4 会话窗口

5.4.5 事件窗口

5.4.6 计数窗口

5.5 时序数据特有函数

5.6 嵌套查询

5.7 union子句

5.8 关联查询

5.8.1 Join概念

5.8.2 语法说明

5.8.3 Join功能

5.8.4 约束和限制

第6章 TDengine高级功能

6.1 数据订阅

6.1.1 主题类型

6.1.2 删除主题

6.1.3 查看主题

6.1.4 创建消费者

6.1.5 查看消费者

6.1.6 删除消费组

6.1.7 查看订阅信息

6.1.8 订阅数据

6.1.9 回放功能

6.2 数据缓存

6.2.1 写缓存

6.2.2 读缓存

6.2.3 元数据缓存

6.2.4 文件系统缓存

6.2.5 实时数据查询的缓存实践

6.3 流计算

6.3.1 创建流计算

6.3.2 流计算的分区

6.3.3 流计算读取历史数据

6.3.4 流计算的触发模式

6.3.5 流计算的窗口关闭

6.3.6 流计算对于过期数据的处理策略

6.3.7 流计算对于修改数据的处理策略

6.3.8 流计算的其他策略

6.3.9 流计算的相关操作

6.4 边云协同

6.4.1 为什么需要边云协同

6.4.2 TDengine的边云协同解决方案

6.4.3 边云协同的优势

6.5 零代码数据源接入

6.5.1 支持的数据源

6.5.2 数据提取、过滤和转换

6.5.3 任务的创建

6.5.4 任务管理

第二部分 运维管理

第7章 集群安装部署

7.1 组件介绍

7.1.1 taosd

7.1.2 taosc

7.1.3 taosAdapter

7.1.4 taosKeeper

7.1.5 taosExplorer

7.1.6 taosX

7.1.7 taosX Agent

7.1.8 应用程序或第三方工具

7.2 资源规划

7.2.1 服务器内存需求

7.2.2 客户端内存需求

7.2.3 CPU需求

7.2.4 存储需求

7.2.5 多级存储

7.2.6 网络带宽需求

7.2.7 物理机或虚拟机台数

7.2.8 TDengine网络端口要求

7.3 手动部署

7.3.1 安装与配置

7.3.2 部署taosd

7.3.3 部署taosAdapter

7.3.4 部署taosKeeper

7.3.5 部署taosX

7.3.6 部署taosX Agent

7.3.7 部署taosExplorer

7.4 Docker部署

7.4.1 启动TDengine

7.4.2 在host网络模式下启动TDengine

7.4.3 以指定的hostname和port启动TDengine

7.5 Kubernetes部署与Helm部署

第8章 图形化管理工具

8.1 集群运行监控

8.1.1 taosKeeper的安装与配置

8.1.2 基于TDinsight的监控

8.2 可视化管理

8.2.1 登录

8.2.2 运行监控面板

8.2.3 数据写入

8.2.4 数据浏览器

8.2.5 编程

8.2.6 流计算

8.2.7 数据订阅

8.2.8 工具

8.2.9 数据管理

第9章 数据安全

9.1 用户管理

9.1.1 创建用户

9.1.2 查看用户

9.1.3 修改用户信息

9.1.4 删除用户

9.2 权限管理

9.2.1 资源管理

9.2.2 授权

9.2.3 查看授权

9.2.4 撤销授权

9.3 数据备份、恢复、容错和灾备

9.3.1 基于taosdump进行数据备份恢复

9.3.2 基于TDengine Enterprise进行数据备份恢复

9.3.3 容错

9.3.4 数据灾备

9.4 更多的安全策略

9.4.1 IP白名单

9.4.2 审计日志

9.4.3 数据加密

第三部分 应用开发

第10章 SQL执行

10.1 连接器

10.1.1 建立连接的方式

10.1.2 Java连接器简介

10.1.3 Java连接器的JDBC和JRE兼容性

10.1.4 安装Java连接器

10.1.5 TDengine数据类型和Java数据类型的转换关系

10.2 建立连接

10.2.1 指定URL以获取连接

10.2.2 指定URL和Properties以获取连接

10.2.3 配置参数的优先级

10.3 执行SQL

10.3.1 创建数据库和表

10.3.2 写入数据

10.3.3 查询数据

10.3.4 执行带有reqId的SQL

10.3.5 通过参数绑定方式高效写入数据

第11章 无模式写入

11.1 无模式写入行协议

11.2 时间分辨率识别

11.3 数据模式映射规则

11.4 数据模式变更处理

11.5 Java连接器无模式写入样例

11.6 查询写入的数据

第12章 订阅数据

12.1 创建主题

12.2 创建消费者

12.3 订阅消费数据

12.4 指定订阅offset

12.5 提交offset

12.6 取消订阅和关闭消费

第13章 自定义函数

13.1 自定义函数简介

13.2 用C语言开发UDF

13.2.1 接口定义

13.2.2 标量函数接口

13.2.3 聚合函数接口

13.2.4 初始化和销毁接口

13.2.5 标量函数模板

13.2.6 聚合函数模板

13.2.7 编译

13.3 用Python语言开发UDF

13.3.1 准备环境

13.3.2 接口定义

13.3.3 标量函数接口

13.3.4 聚合函数接口

13.3.5 初始化和销毁接口

13.3.6 标量函数模板

13.3.7 聚合函数模板

13.3.8 数据类型映射

13.4 管理UDF

13.4.1 创建UDF

13.4.2 删除UDF

13.4.3 查看UDF

第14章 与第三方工具集成

14.1 Grafana

14.1.1 前置条件

14.1.2 安装TDengine Datasource插件

14.1.3 创建Dashboard

14.2 Looker Studio

14.2.1 获取

14.2.2 使用

14.3 Power BI

14.3.1 前置条件

14.3.2 安装ODBC驱动

14.3.3 配置ODBC数据源

14.3.4 导入TDengine数据到Power BI

14.3.5 智能电表样例

14.4 永洪BI

14.4.1 安装永洪BI

14.4.2 安装JDBC驱动

14.4.3 配置JDBC数据源

14.4.4 创建TDengine数据集

14.4.5 制作可视化报告

第四部分 技术内幕

第15章 整体架构

15.1 集群与基本逻辑单元

15.1.1 主要逻辑单元

15.1.2 节点之间的通信

15.1.3 一个典型的消息流程

15.2 存储模型与数据分片、数据分区

15.2.1 存储模型

15.2.2 数据分片

15.2.3 数据分区

15.2.4 负载均衡与扩容

15.3 数据写入与复制流程

15.3.1 leader vnode写入流程

15.3.2 follower vnode写入流程

15.3.3 主从选择

15.3.4 同步复制

15.3.5 成员变更

15.3.6 重定向

15.4 缓存与持久化

15.4.1 时序数据缓存

15.4.2 持久化存储

15.4.3 预计算

15.4.4 多级存储与对象存储

第16章 存储引擎

16.1 行列格式

16.1.1 行格式

16.1.2 列格式

16.2 vnode存储

16.2.1 vnode存储架构

16.2.2 元数据的存储

16.2.3 时序数据的存储

16.3 数据压缩

16.3.1 存储压缩

16.3.2 传输压缩

16.3.3 压缩流程

第17章 查询引擎

17.1 各模块在查询计算中的职责

17.1.1 taosc

17.1.2 mnode

17.1.3 vnode

17.1.4 执行器

17.1.5 UDF Daemon

17.2 查询策略

17.3 SQL说明

17.4 查询流程

17.5 多表聚合查询流程

17.6 查询缓存

17.6.1 缓存的数据类型

17.6.2 缓存方案

第18章 数据订阅

18.1 基本概念

18.1.1 主题

18.1.2 生产者

18.1.3 消费者

18.2 数据订阅架构

18.3 再平衡过程

18.4 消费者状态处理

18.5 消费数据

第19章 流计算引擎

19.1 相关概念

19.1.1 有状态的流计算

19.1.2 预写日志

19.1.3 事件驱动执行

19.1.4 时间

19.1.5 时间窗口聚合

19.1.6 乱序处理

19.2 流计算任务

19.2.1 source task

19.2.2 agg task

19.2.3 sink task

19.3 流计算节点

19.4 状态与容错处理

19.4.1 检查点

19.4.2 状态存储后端

19.5 内存管理

19.6 流量控制

19.7 反压机制

第五部分 实践案例

第20章 车联网

20.1 车联网面临的挑战

20.2 TDengine在车联网中的核心价值

20.3 TDengine在车联网中的应用

20.3.1 TSP车联网

20.3.2 物流车联网

第21章 新能源

21.1 新能源面临的挑战

21.2 TDengine在新能源中的核心价值

21.3 TDengine在新能源中的应用

21.3.1 营销侧分布式光伏电站运行数据接入

21.3.2 数据即时分发至各地市

21.3.3 分类聚合计算瞬时发电功率

21.3.4 实时数据监测

21.3.5 智慧运维系统

第22章 智慧油田

22.1 智慧油田面临的挑战

22.2 TDengine在智慧油田中的应用

第23章 智能制造

23.1 智能制造面临的挑战

23.2 TDengine在智能制造中的核心价值

23.3 TDengine在智能制造中的应用

第24章 金融

24.1 处理金融时序数据时面临的挑战

24.2 TDengine在金融中的核心价值

24.3 TDengine在金融中的应用

24.3.1 量化交易

24.3.2 行情中心