深入理解Doris:原理与应用电子书

前折页

书名页

版权

推荐序一 走向现代化数据仓库

推荐序二 新一代高性能分析型数据库的崛起

前言

第1章 Doris快速入门

1.1 什么是Doris

1.1.1 Doris的发展历史

1.1.2 Doris的架构设计简介

1.1.3 Doris的特点

1.1.4 Doris的主要应用场景

1.2 Doris的安装部署

1.2.1 操作系统要求

1.2.2 单节点部署

1.2.3 高可用集群部署

1.2.4 集群端口说明

1.3 Doris使用入门

1.3.1 数据模型简介

1.3.2 明细模型实战

1.3.3 主键模型实战

1.3.4 统计模型实战

1.3.5 Stream Load数据导入

1.3.6 数据变更操作

1.3.7 倒排索引使用入门

第2章 Doris表结构的设计和使用

2.1 Doris的数据模型

2.1.1 聚合模型

2.1.2 主键模型

2.1.3 明细模型

2.2 数据分布

2.2.1 数据分区

2.2.2 分区维护

2.2.3 数据分桶

2.2.4 分桶设置最佳实践

2.3 同步物化视图

2.3.1 同步物化视图的概念

2.3.2 同步物化视图的原理

2.3.3 同步物化视图的操作

2.3.4 同步物化视图使用案例

2.3.5 同步物化视图的注意事项

2.3.6 同步物化视图和Rollup

2.4 异步物化视图

2.4.1 异步物化视图的概念和使用场景

2.4.2 异步物化视图的原理

2.4.3 异步物化视图的使用

2.5 索引构建

2.5.1 ZoneMap索引

2.5.2 前缀索引

2.5.3 Bitmap索引

2.5.4 Bloom Filter索引

第3章 Doris数据操作

3.1 数据导入

3.1.1 Stream Load

3.1.2 Routine Load

3.1.3 INSERT INTO

3.2 数据导出

3.2.1 Export

3.2.2 OUTFILE

3.3 数据变更

3.3.1 批量标记数据更新和删除

3.3.2 基于SQL语句进行数据变更

3.4 数据连接协议

3.4.1 MySQL协议

3.4.2 Arrow Flight SQL协议

3.5 作业调度

3.5.1 作业调度的概念和使用场景

3.5.2 作业调度的原理

3.5.3 作业调度的使用

第4章 存储引擎

4.1 数据分布

4.1.1 分区

4.1.2 分桶

4.1.3 Tablet、Rowset、Version、Segment的关系

4.1.4 Doris存储目录

4.1.5 Segment数据格式

4.2 数据压缩

4.2.1 LZ4压缩算法

4.2.2 ZSTD压缩算法

4.3 数据写入和更新原理

4.3.1 LSM

4.3.2 Doris数据写入原理

4.3.3 MVCC高并发更新原理

4.3.4 Merge On Read原理和实现

4.3.5 Merge On Write原理和实现

4.3.6 部分列更新

4.4 数据合并原理和实现

4.5 多副本写入

4.5.1 Doris多副本写入流程

4.5.2 Doris写入流程优化：Memtable前移

4.5.3 副本写入原则：多副本机制

4.6 副本管理机制

4.6.1 Doris多副本原理

4.6.2 副本状态和Tablet状态

4.6.3 副本修复

4.6.4 副本均衡

4.6.5 副本状态命令

第5章 Doris查询引擎原理

5.1 查询规划器原理

5.1.1 Doris SQL分布式执行流程

5.1.2 SQL解析计划

5.2 Pipeline执行引擎

5.2.1 Pipeline执行引擎的背景

5.2.2 Pipeline执行引擎的设计思想

5.2.3 Pipeline的实现逻辑

5.2.4 Pipeline优化

5.3 统计信息收集

5.3.1 统计信息收集原理

5.3.2 外表统计信息收集

5.3.3 收集统计信息实战

5.4 分布式连接原理和优化

5.4.1 分布式连接原理

5.4.2 Doris连接优化

5.5 查询数据落盘

5.5.1 数据落盘原理

5.5.2 数据落盘使用

第6章 Doris倒排索引原理和应用

6.1 日志分析的需求和挑战

6.1.1 日志分析的作用

6.1.2 日志分析的主要应用场景

6.1.3 日志分析场景的特点

6.1.4 日志分析场景的总体架构

6.2 Doris日志解决方案

6.2.1 开放性

6.2.2 高效写入

6.2.3 高效查询

6.2.4 统一

6.3 Doris日志核心技术解析

6.3.1 倒排索引的基础原理

6.3.2 Doris倒排索引的实现原理

6.3.3 Variant

6.3.4 动态剪枝TopN算法

6.3.5 N-Gram索引

6.3.6 Doris文本检索的其他加速优化方法

6.4 Doris日志应用实战

6.4.1 倒排索引语法介绍

6.4.2 倒排索引结合冷热分离架构入门示例

6.4.3 Doris日志导入方式

6.4.4 Doris日志存储场景参数优化

第7章 高并发点查原理和应用

7.1 什么是高并发点查

7.2 Doris高并发点查的挑战

7.2.1 行存和列存的优缺点

7.2.2 Doris查询计划复杂

7.2.3 SQL解析压力大

7.3 Doris高并发核心技术解析

7.3.1 行列混存

7.3.2 点查路径优化

7.3.3 预处理语句优化

7.3.4 行级缓存

7.4 Doris高并发点查使用

第8章 湖仓一体原理和应用

8.1 湖仓一体概述

8.1.1 数据仓库和数据湖的区别

8.1.2 湖仓一体的优点

8.1.3 Doris的湖仓一体演进路线

8.2 湖仓一体架构概述

8.3 数据源连接框架

8.3.1 元数据统一表达

8.3.2 元数据缓存及同步

8.3.3 数据访问

8.4 数据湖写入

8.5 数据湖查询原理解析

8.5.1 查询规划

8.5.2 查询执行

8.6 Doris多源数据目录实战

8.6.1 Doris多源数据目录简介

8.6.2 Doris多源数据目录主要应用场景

8.6.3 Doris多源数据目录常用操作

8.6.4 Doris多源数据目录使用实战

第9章 生态组件原理和应用

9.1 Flink Doris连接器

9.1.1 Flink简介

9.1.2 Flink CDC简介

9.1.3 Flink Doris连接器

9.1.4 Flink Doris源连接器原理和使用

9.1.5 Flink Doris接收连接器原理和使用

9.1.6 Flink Doris接收连接器整库同步

9.1.7 Flink Doris接收连接器循环接入

9.2 Spark Doris连接器

9.2.1 Spark简介

9.2.2 Spark Doris源连接器原理和使用

9.2.3 Spark Doris接收连接器原理和使用

9.2.4 Spark Doris连接器核心配置参数

第10章 运维管理

10.1 集群管理

10.1.1 节点启停操作

10.1.2 节点扩缩容

10.2 账号与权限管理

10.3 资源管理

10.3.1 资源组原理和使用

10.3.2 工作负载组

10.3.3 SQL级别资源限制

10.4 跨集群复制

10.4.1 CCR实现原理

10.4.2 CCR使用

第11章 基于Doris构建实时数据仓库

11.1 实时数据仓库的定义及构建方法

11.1.1 Hadoop大数据平台

11.1.2 实时数据仓库架构出现的必要性

11.1.3 基于Doris的实时数据仓库的特点

11.2 基于Doris的实时数据仓库架构

11.2.1 Doris数据接入

11.2.2 数据仓库分层理论

11.2.3 Doris多种数据仓库分层方案

推荐阅读

后折页