剑指大数据——企业级数据仓库项目实战(电商版)电子书

内容简介

前言

第1章 数据仓库概论

1.1 数据仓库的概念与特点

1.2 数据仓库的演进过程

1.3 数据仓库技术

1.4 数据仓库基本架构

1.5 数据库和数据仓库的区别

1.6 学前导读

1.7 本章总结

第2章 项目需求描述

2.1 前期调研

2.2 项目架构分析

2.3 项目业务概述

2.4 系统运行环境

2.5 本章总结

第3章 项目部署的环境准备

3.1 Linux环境准备

3.2 Linux环境配置

3.3 Hadoop环境搭建

3.4 本章总结

第4章 用户行为数据采集模块

4.1 日志生成

4.2 消息队列Kafka

4.3 采集日志的Flume

4.4 消费日志的Flume

4.5 采集通道启动、停止脚本

4.6 本章总结

第5章 业务数据采集模块

5.1 电商业务概述

5.2 业务数据采集

5.3 本章总结

第6章 数据仓库搭建模块

6.1 数据仓库理论准备

6.2 数据仓库建模实践

6.3 数据仓库搭建环境准备

6.4 数据仓库搭建——ODS层

6.5 数据仓库搭建——DIM层

6.6 数据仓库搭建——DWD层

6.7 数据仓库搭建——DWS层

6.8 数据仓库搭建——ADS层

6.9 数据模型评估及优化

6.10 本章总结

第7章 DolphinScheduler全流程调度

7.1 DolphinScheduler概述与安装部署

7.2 创建MySQL数据库和表

7.3 DataX数据导出

7.4 全流程调度

7.5 电子邮件报警

7.6 本章总结

第8章 数据可视化模块

8.1 Superset部署

8.2 Superset使用

8.3 Superset实战

8.4 ECharts可视化

8.5 本章总结

第9章 即席查询模块

9.1 Presto

9.2 Kylin

9.3 即席查询框架对比

9.4 本章总结

第10章 集群监控模块

10.1 Zabbix入门

10.2 Zabbix部署

10.3 Zabbix使用

10.4 Grafana

10.5 本章总结

第11章 安全认证模块

11.1 Kerberos入门

11.2 Kerberos安装

11.3 Kerberos操作

11.4 Hadoop集成Kerberos

11.5 在安全认证模式下启动Hadoop集群

11.6 在安全认证模式下操作Hadoop集群

11.7 Hive集成Kerberos

11.8 在安全认证模式下操作Hive

11.9 在安全认证模式下执行数据仓库全流程调度

11.10 Presto集成Kerberos

11.11 Kylin集成Kerberos

11.12 本章总结

第12章 权限管理模块

12.1 Ranger入门

12.2 Ranger安装部署

12.3 使用Ranger对Hive进行权限管理

12.4 本章总结

第13章 元数据管理模块

13.1 Atlas入门

13.2 Atlas安装及启动

13.3 Atlas使用

13.4 本章总结

第14章 数据质量

14.1 数据质量管理概述

14.2 数据质量监控需求

14.3 开发环境准备

14.4 编写及集成检查规则脚本

14.5 编写报警脚本

14.6 调度模块

14.7 可视化模块

14.8 本章总结