数据应用工程:方法论与实践电子书

版权页

作者简介

赞誉

前言

第一部分 行业分析

第1章 数字化时代的变革与挑战

1.1 数字经济与生产变革

1.1.1 从农业经济到数字经济，从土地到数据

1.1.2 从规模化生产到个性化定制生产，从IT到DT

1.2 数字化时代的变革动能

1.2.1 技术发展创造变革

1.2.2 “新基建”提速变革

1.2.3 商业竞争驱动变革

1.2.4 社会治理需要变革

1.2.5 政府政策引导变革

1.3 数字化变革中的不确定性与挑战

1.3.1 环境不确定性

1.3.2 数字化变革的挑战

1.4 本章小结

第二部分 理论方法

第2章 技术变革与组织应用技术的规律

2.1 组织面对技术变革的三大挑战

2.1.1 新技术不断涌现，技术选择的挑战

2.1.2 创新风险很高，技术应用发展规划的挑战

2.1.3 发展常遇瓶颈，持续提升的挑战

2.2 事物发展的“第一性原理”

2.2.1 成熟度

2.2.2 成熟度模型

2.2.3 成熟度模型分类

2.3 技术创新规律与成熟度评估

2.3.1 技术发展生命周期规律

2.3.2 基于就绪水平的技术研发成熟度评估

2.3.3 考虑宣传期望的技术发展成熟度曲线

2.4 组织技术应用的发展规律与成熟度评估

2.4.1 指导早期信息化规划的诺兰成长阶段模型

2.4.2 诺兰模型在网络时代与智能时代的扩展

2.5 组织技术应用的能力建设规律与成熟度评估

2.5.1 从质量方法发展来的能力成熟度模型

2.5.2 能力成熟度模型的基础原理

2.5.3 软件领域广泛应用的能力成熟度模型

2.5.4 数据领域广泛应用的能力成熟度模型

2.6 本章小结

第3章 数据应用成熟度模型

3.1 模型开发背景

3.2 数据应用成熟度模型框架

3.2.1 模型框架说明

3.2.2 模型阶段与维度说明

3.3 数据应用成熟度模型评估

3.3.1 发展评估——数据应用维度

3.3.2 能力评估——数据工程维度

3.3.3 能力评估——数据治理维度

3.3.4 数据应用成熟度综合评估

3.4 数据应用成熟度模型的运用

3.4.1 模型运用流程

3.4.2 成熟度进阶建议和措施

3.5 数据工程过程

3.5.1 数据工程过程概述

3.5.2 数据理解过程

3.5.3 数据设计过程

3.5.4 数据处理过程——数据开发

3.5.5 数据处理过程——数据分析与数据科学建模

3.5.6 数据部署过程

3.5.7 数据运营过程

3.5.8 数据工程支持过程

3.6 数据治理过程

3.6.1 数据治理维度概述

3.6.2 宏观决策域

3.6.3 核心治理域——基本治理过程

3.6.4 核心治理域——综合治理过程

3.7 本章小结

第三部分 知识体系

第4章 数据治理与管理

4.1 元数据管理

4.1.1 元数据概述

4.1.2 元数据定义

4.1.3 元数据分类

4.1.4 元数据管理详解

4.2 数据质量管理

4.2.1 数据质量概述

4.2.2 数据质量问题

4.2.3 数据质量测量与评价

4.2.4 数据质量问题的解决方法

4.2.5 如何做好数据质量管理

4.3 数据安全管理

4.3.1 数据安全的内容与特点

4.3.2 数据安全管理流程

4.3.3 数据合规要求的法规体系

4.3.4 数据安全的基础合规要求

4.3.5 个人信息处理的专门合规要求

4.3.6 数据安全管理的技术和方法

4.4 本章小结

第5章 大数据技术详解

5.1 大数据技术的方法和流行开源组件

5.1.1 大数据的4V特性与技术挑战

5.1.2 大数据技术的主要方法

5.1.3 大数据技术的流行开源组件

5.2 大数据系统架构

5.2.1 MPP数据库架构

5.2.2 Hadoop体系的架构

5.2.3 两种架构的对比

5.2.4 存储与计算分离及云化的未来架构

5.3 大数据存储技术

5.3.1 分布式文件存储系统

5.3.2 分布式数据库系统

5.3.3 分布式消息传递系统

5.4 大数据计算技术

5.4.1 离线批处理

5.4.2 实时流处理

5.5 大数据分析技术

5.5.1 OLAP技术介绍

5.5.2 实时OLAP系统的两种架构模型

5.5.3 OLAP相关技术分类

5.5.4 OLAP技术典型流行产品示例

5.6 数据科学技术

5.6.1 机器学习的基础概念

5.6.2 有监督机器学习算法

5.6.3 无监督机器学习算法

5.7 本章小结

第四部分 实践案例

第6章 数据工程与治理案例——移动大数据的数据处理实践

6.1 统一的大数据工程与治理架构

6.2 数据仓库设计

6.2.1 数据模型架构设计

6.2.2 数据管理规范设计

6.2.3 数据规格设计

6.3 大数据日志收集技术

6.3.1 Web日志收集技术

6.3.2 移动端日志收集技术

6.3.3 埋点技术与埋点实现

6.4 数据处理设计

6.4.1 数据处理技术架构设计

6.4.2 数据处理流程设计

6.5 数据科学建模

6.5.1 数据科学建模工程流程示例

6.5.2 面向数据安全的Embedding数据特征提取方法与应用实例

6.5.3 基于移动设备行为数据的人口属性性别标签预测模型迭代实例

6.6 数据治理

6.6.1 数据治理平台的目标

6.6.2 数据治理平台的功能架构

6.6.3 元数据管理

6.6.4 血缘查询与告警

6.6.5 数据资产统计

6.6.6 其他功能模块示例

6.7 本章小结

第7章 数据工程过程案例——企业CDP建设中的数据工程实践

7.1 CDP平台的数据源梳理

7.1.1 数据源梳理过程的输入和输出

7.1.2 了解客户的业务及流程

7.1.3 了解客户的系统

7.1.4 了解客户的数据

7.2 CDP平台的标签体系及其口径梳理

7.2.1 标签体系及其口径梳理过程的输入和输出

7.2.2 标签体系内容说明

7.2.3 标签体系梳理

7.2.4 标签口径梳理

7.3 CDP平台的数据同步接口定义

7.3.1 数据同步接口定义过程的输入和输出

7.3.2 关于ETL和ELT

7.3.3 数据同步接口定义

7.4 CDP平台的数据模型设计

7.4.1 关于数据模型设计过程的输入与输出

7.4.2 数据模型设计

7.4.3 数据模型的应用

7.5 CDP平台的ETL设计

7.5.1 ETL设计过程的输入和输出

7.5.2 ETL设计

7.6 CDP平台的ETL开发

7.6.1 ETL开发过程的输入和输出

7.6.2 ETL开发流程

7.7 CDP平台的数据运维

7.7.1 运维过程的输入与输出

7.7.2 运维工作内容

7.8 本章小结

第8章 数据应用案例——大数据统计分析与个性化营销

8.1 统计级大数据应用——移动应用统计分析系统

8.1.1 业务背景

8.1.2 产品技术设计

8.1.3 具体实现示例与说明

8.2 个体级大数据应用——营销数据管理平台

8.2.1 产品背景

8.2.2 产品设计

8.2.3 具体实现示例

8.3 本章小结

第9章 数据应用案例——基于空间大数据的土地资源数字化精准监管

9.1 案例背景

9.2 数据处理过程

9.3 数字化的土地执法监管应用

9.4 本章小结

附录

附录A 成熟度模型的构建方法

附录B 数据应用成熟度模型设计说明

附录C 数据合规要求的法规文件汇总