Doris实时数仓实战电子书

前折页

书名页

版权

推荐序一

推荐序二

前言

第一部分 基础

第1章 Doris概述

1.1 Doris的前世今生

1.1.1 Doris应需而生

1.1.2 Doris架构重组

1.1.3 Doris引擎升级

1.1.4 Doris拥抱开源

1.2 Doris的特点

1.2.1 极简架构

1.2.2 使用简单

1.2.3 功能丰富

1.2.4 开源开放

1.3 Doris核心设计

1.3.1 存储引擎

1.3.2 查询引擎

1.3.3 查询优化器

1.3.4 向量化执行引擎

1.4 Doris应用场景

1.5 Doris的竞争对手

1.5.1 Doris的“前浪”——Greenplum

1.5.2 Doris的“表哥”——Kylin

1.5.3 Doris的“知音”——ClickHouse

1.5.4 Doris的“伤痕”——StarRocks

第2章 Doris的安装与部署

2.1 集群规划和环境准备

2.1.1 环境要求

2.1.2 硬件要求

2.1.3 节点规划

2.1.4 通信端口

2.1.5 IP地址绑定

2.2 Doris源码编译

2.2.1 环境准备

2.2.2 通过Git下载Doris源码

2.2.3 拉取Docker编译环境

2.2.4 启动编译环境

2.2.5 进入Docker进行编译

2.2.6 编译Broker

2.3 安装和部署

2.3.1 安装前的准备

2.3.2 安装FE

2.3.3 安装BE

2.3.4 安装Broker

2.4 数据库访问和常用命令

2.4.1 访问Doris数据库

2.4.2 Doris常用命令

2.4.3 Doris用户管理

第3章 Doris数据对象

3.1 数据类型

3.1.1 数值类型

3.1.2 日期时间类型

3.1.3 字符串类型

3.1.4 其他扩展类型

3.2 OLAP表定义

3.2.1 列定义

3.2.2 键描述

3.2.3 分布描述

3.2.4 键值对

3.3 分区表定义

3.3.1 Range分区

3.3.2 List分区

3.4 外部表定义

3.4.1 MySQL表引擎

3.4.2 Broker表引擎

3.4.3 Hive表引擎

3.4.4 Iceberg表引擎

3.5 表的基本操作

3.5.1 修改表

3.5.2 删除表

3.5.3 清空表

3.6 视图

3.6.1 创建视图

3.6.2 修改视图

3.6.3 删除视图

3.7 函数

3.7.1 日期函数

3.7.2 正则匹配函数

3.7.3 BITMAP函数

3.7.4 JSON函数

3.7.5 表函数

3.7.6 窗口函数

第4章 Doris数据模型详解

4.1 数据模型及原理

4.1.1 Duplicate模型

4.1.2 Aggregate模型

4.1.3 Unique模型

4.2 数据模型实战

4.3 数据模型应用场景

4.4 表数据存储

4.5 分区与分桶

4.6 DDL语句执行过程

第二部分 进阶

第5章 数据导入实战

5.1 INSERT INTO

5.1.1 用法详解

5.1.2 应用举例

5.2 Stream Load

5.2.1 执行原理

5.2.2 用法详解

5.2.3 应用举例

5.3 Broker Load

5.3.1 执行原理

5.3.2 用法详解

5.3.3 应用举例

5.4 Routine Load

5.4.1 执行原理

5.4.2 用法详解

5.4.3 应用举例

5.5 Binlog Load

5.5.1 基本原理

5.5.2 用法详解

5.5.3 应用举例

5.6 DataX

5.6.1 DataX执行原理

5.6.2 DataX DorisWriter插件

5.6.3 应用举例

5.7 Spark Load

5.7.1 执行原理

5.7.2 用法详解

5.7.3 应用举例

第6章 Doris数据查询

6.1 简单查询

6.1.1 简单的SQL语法

6.1.2 WITH特性

6.1.3 IN语句和EXISTS语句

6.2 多表关联

6.2.1 JOIN操作类型

6.2.2 JOIN算法实现

6.2.3 分布式JOIN优化策略

6.3 开窗查询

6.4 BITMAP精准去重

6.5 HLL近似去重

6.6 GROUPING SETS多维组合

第7章 Doris查询优化

7.1 执行计划

7.2 查询优化器

7.3 索引

7.4 物化视图

7.5 ROLLUP

7.6 向量化查询引擎

7.7 查询优化总结

第三部分 拓展

第8章 Doris流数据

8.1 Flink简介

8.2 Flink基本概念

8.3 Flink SQL和Table API

8.4 Flink CDC技术

8.5 Flink Doris Connector

8.5.1 插件编译与安装

8.5.2 环境配置

8.5.3 单表增、删、改

8.5.4 多表关联

8.5.5 汇总数据

第9章 Doris外部表

9.1 ODBC外部表

9.2 Hive外部表

9.3 ES外部表

9.4 Iceberg外部表

第10章 Doris集群管理

10.1 集群管理

10.1.1 数据库管理

10.1.2 用户管理

10.1.3 权限管理

10.2 集群资源管理

10.2.1 节点资源划分

10.2.2 节点资源限制

10.3 集群备份和恢复

10.3.1 数据导出

10.3.2 数据备份

10.3.3 数据恢复

10.3.4 模式备份

10.4 集群高可用

10.4.1 Doris一键启动

10.4.2 Doris自启动

10.4.3 Doris升级版本

10.5 集群扩缩容

10.5.1 FE扩容

10.5.2 FE缩容

10.5.3 BE扩容

10.5.4 BE缩容

10.5.5 Broker扩缩容

10.6 删除恢复

第四部分 实战

第11章 数据仓库概述

11.1 数据仓库的起源

11.2 数据仓库的流行

11.3 数据仓库的分布式之路

11.4 MPP架构的崛起

11.5 数据仓库的未来

11.6 概念对比

11.6.1 数据仓库与数据库

11.6.2 数据仓库与大数据技术

11.6.3 数据仓库与数据中台

11.6.4 数据仓库与数据湖

第12章 数据仓库设计

12.1 数据仓库架构

12.1.1 Inmon的企业信息化工厂

12.1.2 Kimball的维度建模数据仓库

12.1.3 两种建模方式对比

12.2 数据仓库分层

12.2.1 操作数据存储层

12.2.2 数据仓库层

12.2.3 应用数据层

12.3 实时数据仓库的两条线路

12.4 实时数据仓库的新选择

第13章 基于Doris的OLAP查询和实时数据仓库实战

13.1 项目背景

13.2 项目需求

13.3 技术方案实现

13.3.1 基于DataX的接口数据抽取

13.3.2 基于Hive构建数据仓库

13.3.3 基于Doris构建数据集市

13.3.4 基于Flink SQL的实时数据流

13.3.5 代码发布和作业监控

13.4 业务方案实现

13.4.1 零售流水及本期、同期计算

13.4.2 有效店、同店及渠道分析

13.4.3 库存及齐码率分析

13.4.4 库销比及售罄率分析

13.5 项目总结

第14章 基于Doris的流批一体数据仓库实战

14.1 项目背景

14.2 项目需求

14.3 技术方案实现

14.3.1 批量数据同步

14.3.2 实时数据入库

14.3.3 数据仓库分层

14.3.4 全增量一体化数据加工

14.3.5 流批融合的实时大屏

14.3.6 调度任务

14.4 开发规范

14.4.1 数据对象命名规范

14.4.2 建表规范

14.4.3 字段命名规范

14.4.4 调度任务命名规范

14.5 项目交付成果

14.5.1 PC端报表

14.5.2 移动端报表

14.5.3 自助分析报表

14.6 项目总结

后折页