剑指大数据——企业级数据仓库项目实战(金融租赁版)电子书

内容简介

前言

第1章 数据仓库概论

1.1 数据仓库的概念与特点

1.2 数据仓库的演进过程

1.3 数据仓库技术

1.4 数据仓库基本架构

1.5 数据库和数据仓库的区别

1.6 学前导读

1.6.1 学习的基础要求

1.6.2 你将学到什么

1.7 本章总结

第2章 项目需求描述

2.1 前期调研

2.2 项目架构分析

2.2.1 金融租赁行业简介

2.2.2 金融租赁数据仓库产品描述

2.2.3 系统功能结构

2.2.4 系统流程图

2.3 项目业务概述

2.3.1 数据采集模块业务描述

2.3.2 数据仓库需求业务描述

2.3.3 数据可视化业务描述

2.4 系统运行环境

2.4.1 硬件环境

2.4.2 软件环境

2.5 本章总结

第3章 项目部署的环境准备

3.1 集群规划与服务器配置

3.2 安装JDK与Hadoop

3.2.1 准备虚拟机环境

3.2.2 安装JDK

3.2.3 安装Hadoop

3.2.4 Hadoop的分布式集群部署

3.3 本章总结

第4章 业务数据采集模块

4.1 金融租赁业务概述

4.1.1 金融租赁业务流程

4.1.2 业务表结构

4.2 数据同步

4.2.1 数据同步策略

4.2.2 数据同步工具选择

4.3 环境准备

4.3.1 安装DataX

4.3.2 安装Maxwell

4.3.3 安装ZooKeeper

4.3.4 安装Kafka

4.3.5 安装Flume

4.4 模拟业务数据

4.4.1 安装MySQL

4.4.2 数据模拟

4.5 业务数据的采集

4.5.1 全量同步

4.5.2 增量同步

4.6 采集通道启动和停止脚本

4.7 本章总结

第5章 数据仓库搭建模块

5.1 数据仓库理论准备

5.1.1 数据建模概述

5.1.2 关系模型与范式理论

5.1.3 维度模型

5.1.4 维度建模理论之事实表

5.1.5 维度建模理论之维度表

5.1.6 星形模型、雪花模型与星座模型

5.2 数据仓库建模实践

5.2.1 名词概念

5.2.2 为什么要分层

5.2.3 数据仓库搭建流程

5.2.4 数据仓库开发规范

5.3 数据仓库搭建环境准备

5.3.1 安装Hive

5.3.2 Hive on Spark配置

5.3.3 YARN容量调度器并发度问题

5.3.4 数据仓库开发环境配置

5.3.5 模拟数据准备

5.3.6 复杂数据类型

5.4 数据仓库搭建——ODS层

5.4.1 ODS层表格的创建

5.4.2 ODS层业务数据导入脚本

5.5 数据仓库搭建——DIM层

5.5.1 部门维度表（全量）

5.5.2 员工维度表（全量）

5.5.3 行业维度表（全量）

5.5.4 DIM层每日数据装载脚本

5.6 数据仓库搭建——DWD层

5.6.1 审批域金融租赁全流程累积快照事实表

5.6.2 DWD层首日数据装载脚本

5.6.3 DWD层每日数据装载脚本

5.7 数据仓库搭建——ADS层

5.7.1 待审/在审项目主题指标

5.7.2 已审项目主题指标

5.7.3 已审项目转化主题指标

5.7.4 ADS层数据导入脚本

5.8 数据模型评估及优化

5.9 本章总结

第6章 DolphinScheduler全流程调度

6.1 DolphinScheduler概述与安装部署

6.1.1 DolphinScheduler概述

6.1.2 DolphinScheduler安装部署

6.2 创建MySQL数据库和表

6.3 DataX数据导出

6.4 全流程调度

6.4.1 数据准备

6.4.2 全流程调度配置

6.5 电子邮件报警

6.5.1 注册邮箱

6.5.2 配置电子邮件报警

6.6 本章总结

第7章 数据可视化模块

7.1 部署FineBI

7.1.1 安装

7.1.2 初始化

7.2 数据源的配置

7.2.1 配置数据连接

7.2.2 配置数据源

7.3 制作图表

7.3.1 制作堆积柱状图

7.3.2 制作饼状图

7.3.3 制作多系列柱状图

7.3.4 制作仪表板

7.4 本章总结