企业大数据系统构建实战:技术、架构、实施与应用电子书

前言

第1章 企业大数据战略定位

1.1 宏观

1.2 微观

1.2.1 资源协同

1.2.2 战略定位

1.2.3 启动契机

1.2.4 大数据历程

1.3 本章小结

第2章 企业大数据职能规划

2.1 大数据组织架构体系

2.1.1 大数据部门在企业中的角色

2.1.2 常见的大数据职能及职责

2.2 大数据职位构建体系

2.2.1 基础平台类

2.2.2 数据管理类

2.2.3 技术研发类

2.2.4 产品设计类

2.2.5 数据挖掘类

2.2.6 数据分析类

2.3 大数据制度和流程规范

2.3.1 制度和流程规范意义

2.3.2 制度和流程规范内容

2.3.3 制度和流程规范模板

2.4 本章小结

第3章 企业大数据解决方案

3.1 企业大数据解决方案实现方式

3.1.1 独立研发

3.1.2 第三方解决方案

3.1.3 联合开发

3.2 如何选择解决方案

3.2.1 外部环境分析

3.2.2 内部环境分析

3.2.3 需求规划分析

3.2.4 解决方案特性分析

3.2.5 解决方案费用评估

3.3 本章小结

第4章 企业大数据自主实施思路

4.1 制定规划原则

4.1.1 价值性

4.1.2 实时性

4.1.3 高效性

4.1.4 安全性

4.1.5 延展性

4.1.6 全局性

4.2 制定目标蓝图

4.3 制定建设目标

4.4 明确组织规划

4.4.1 组织结构设计的作用

4.4.2 组织结构设立的导向

4.4.3 组织结构的最终设立

4.5 设计技术方案

4.5.1 大数据系统建设方案

4.5.2 大数据系统与传统BI的融合方案

4.6 制定人才规划

4.6.1 指导思想

4.6.2 规划原则

4.6.3 核心内容

4.7 投入产出评估

4.7.1 数据投入与产出的内涵

4.7.2 数据投入与产出的特征

4.7.3 数据投入与产出的管理

4.8 数据风险管理

4.8.1 数据风险管理的概念

4.8.2 数据风险管理的类型

4.8.3 数据风险管理的原则

4.8.4 数据风险管理与控制

4.9 本章小结

第5章 大数据技术介绍

5.1 核心技术

5.1.1 Hadoop生态

1.HDFS

2.Map Reduce

3.Hive

4.HBase

5.Impala

6.YARN

7.Zookeeper

5.1.2 No SQL

5.1.3 实时计算

1.Spark

2.Storm

5.1.4 全文检索

5.2 相关技术

5.2.1 数据可视化

5.2.2 数据缓存

5.2.3 中间件

5.2.4 关系型数据库

1.Oracle

2.My SQL

5.2.5 数据ETL

5.3 大数据算法库

1.RHadoop

2.Mahout

3.MLlib

4.Python

5.System ML

5.4 本章小结

第6章 大数据架构设计

6.1 大数据架构设计原则

6.2 大数据核心架构要素

6.3 大数据架构设计模式

6.4 本章小结

第7章 大数据技术开发

7.1 数据采集

7.1.1 批量采集

7.1.2 增量采集

7.2 数据存储

7.2.1 HDFS文件存储引擎

7.2.2 Hive数据存储引擎

7.2.3 HBase列式存储引擎

7.2.4 My SQL关系型数据存储引擎

7.3 多维计算

7.4 功能服务

7.5 平台管理

7.5.1 监控管理

7.5.2 调度管理

7.5.3 权限管理

7.6 应用域

7.7 本章小结

第8章 大数据工作流

8.1 数据源

8.1.1 日志/文件

8.1.2 数据库

8.1.3 网络爬虫

8.1.4 第三方API/合作

8.2 数据处理

8.2.1 数据质量校验

8.2.2 清洗转换

8.2.3 质量提升

8.2.4 数据脱敏

8.2.5 集成整合

8.3 数据存储

8.3.1 关系型数据库

8.3.2 分布式文件系统

8.4 数据计算

8.4.1 三种数据计算时效性

8.4.2 结构化数据计算

8.4.3 半/非结构化数据计算

8.4.4 深度挖掘学习

8.5 数据应用

8.5.1 辅助决策

8.5.2 数据驱动

8.6 数据质量管理

8.6.1 数据质量建设的内涵

8.6.2 影响数据质量的常见因素

8.6.3 数据质量建设的框架

8.7 本章小结

第9章 企业大数据业务应用

9.1 大数据应用场景概述

9.1.1 场景商业目的分析

9.1.2 场景数据来源分析

9.1.3 场景数据难易分析

9.1.4 场景应用举例

9.2 用户画像

9.2.1 业务应用背景

9.2.2 主要实现过程

9.2.3 关键应用场景

9.2.4 应用价值提炼

9.2.5 场景总结回顾

9.3 个性化营销

9.3.1 业务应用背景

9.3.2 主要实现过程

9.3.3 关键应用场景

9.3.4 应用价值提炼

9.3.5 场景总结回顾

9.4 精准广告

9.4.1 业务应用背景

9.4.2 主要实现过程

9.4.3 关键应用场景

9.4.4 应用价值提炼

9.4.5 场景总结回顾

9.5 征信

9.5.1 应用场景背景

9.5.2 主要实现过程

9.5.3 主要应用场景

9.5.4 应用价值提炼

9.5.5 场景总结回顾

9.6 本章小结

第10章 企业大数据价值评估

10.1 资产价值

10.1.1 数据规模

10.1.2 数据价值度

10.1.3 数据鲜活性

10.1.4 数据关联维度

10.1.5 数据粒度

10.2 业务价值

10.2.1 用户体验提升

10.2.2 运营优化

10.2.3 销售贡献

10.2.4 供应链优化

10.3 本章小结

第11章 大数据的社会价值

11.1 民生价值

11.2 政务价值

11.3 产业价值

11.4 本章小结

第12章 大数据当前问题及挑战

12.1 数据挑战

12.2 安全挑战

12.3 价值挑战

12.4 认知挑战

12.5 技术挑战

12.6 人才挑战

12.7 本章小结

第13章 大数据未来趋势

13.1 价值资产化

13.2 产业生态化

13.3 主体社会化

13.4 应用智能化

13.5 本章小结