从程序员到架构师:大数据技术金融级全场景应用实战电子书

前言 PREFACE

PART 1 第1部分 概述及数据处理

第1章 金融大数据应用概述

1.1 金融大数据技术发展历程

1.2 大数据技术分类

1.3 金融大数据技术应用场景

第2章 数据采集

2.1 数据采集业务场景

2.2 存储到HDFS的采集技术方案

2.3 T+0的采集技术方案

2.4 全域数据实时采集的技术挑战

2.5 实现全域数据实时采集的技术思路

2.6 全域数据实时采集的整体技术方案

2.7 本章小结

第3章 数据离线处理

3.1 数据离线处理业务场景

3.2 数据离线处理架构的主要难点

3.3 企业级数据传输标准

3.4 快速自由组合大数据作业流的架构要点

3.5 数据离线处理整体架构要点

3.6 离线处理动作实现要点

3.7 本章小结

第4章 流式数据处理

4.1 流式数据处理业务场景

4.2 流式数据处理简介

4.3 整体方案

4.4 方案难点和解决思路

4.5 运维注意事项

4.6 本章小结

PART 2 第2部分 数据使用

第5章 数据服务

5.1 数据服务业务场景

5.2 规划的功能架构

5.3 建设思路

5.4 整体架构和时序图示例

5.5 本章小结

第6章 数据加速

6.1 数据加速业务场景

6.2 技术选型

6.3 整体架构介绍

6.4 基于ClickHouse的实战介绍

6.5 基于Kylin的实战介绍

6.6 本章小结

PART 3 第3部分 数据治理

第7章 元数据管理

7.1 元数据管理的业务背景

7.2 详细设计思路和实现方案

7.3 整体技术架构介绍

7.4 本章小结

第8章 数据安全管理

8.1 数据安全管理业务背景

8.2 识别和脱敏的技术难点

8.3 识别大量数据

8.4 动态脱敏的技术方案

8.5 用MySQL保存识别出来的数据保密等级

8.6 本章小结

第9章 数据质量管理

9.1 数据质量管理业务背景

9.2 技术语言业务化

9.3 数据技术检核任务的自动化生成

9.4 大数据文件的检核

9.5 端到端的架构

9.6 本章小结

PART 4 第4部分 数据部署与运维

第10章 大数据作业调度

10.1 作业调度的技术难点

10.2 作业调度整体架构

10.3 作业排程

10.4 作业资源管理

10.5 调度运维服务

10.6 调度非功能设计

10.7 业务使用效果及局限性总结

10.8 作业调度发展趋势与未来规划

10.9 本章小结

第11章 大数据计算资源管理

11.1 大数据计算资源管理业务场景

11.2 资源管理技术实现思路

11.3 资源管理解决方案设计

11.4 资源管理设计不足探讨

11.5 本章小结

第12章 三态投产

12.1 三态投产业务场景

12.2 解决思路

12.3 整体方案介绍

12.4 本章小结

PART 5 第5部分 综合应用场景

第13章 流批一体

13.1 流批一体业务背景

13.2 流批一体初步架构

13.3 流批同写一张表的架构

13.4 处理层面的流批一体

13.5 选择什么样的流批一体架构方案

13.6 本章小结

第14章 数据湖应用

14.1 什么是数据湖

14.2 为什么要建设数据湖

14.3 数据湖的规划设计

14.4 数据湖的技术选型

14.5 数据湖的整体架构

14.6 数据湖建设中的问题

14.7 本章小结

第15章 建设自主可控的信创大数据平台

15.1 建设大数据平台的业务背景

15.2 组件划分及设计

15.3 信创适配

15.4 整体架构

15.5 本章小结

第16章 大数据发展趋势与未来规划

16.1 大数据领域新技术的发展

16.2 大数据与其他技术领域的融合发展

16.3 技术人员的应对措施

16.4 大数据开发中的几个误区

后记