大数据时代下的智能转型进程精选(套装共10册)电子书

总目录

数据合规：入门、实战与进阶

目录

作者简介

自序

开篇 小白入职“数据合规”法务岗位，一头雾水怎么办

第一章 “数据合规”都管哪些事儿

第一节 这些数据很重要：用户数据、个人信息、隐私

第二节 要管理的数据处理活动太多了：覆盖数据全生命周期

第三节 数据合规工作面面观：政策研究、合规评估、管理体系、技术措施

小结

第二章 数据合规之避坑预警

第一节 避坑点之产品端在线协议

第二节 避坑点之内部管控

小结

入门篇 对症下药，小白必知的合规要求

第三章 我国数据合规立法体系与监管要求

第一节 现行数据合规立法体系

第二节 多重监管要求的对比分析

第三节 数据合规违法案例

小结

第四章 如何让《个人信息保护法》在业务中落地

第一节 摸排场景：识别个人信息和主体身份

第二节 遵循个人信息处理的基本规则和通用义务

第三节 遵循个人信息处理的特殊义务

第四节 个人信息主体的权利及其他

小结

第五章 欧盟数据保护立法体系与监管要求

第一节 欧盟数据保护立法概况

第二节 欧盟数据保护监管案例

小结

第六章 美国数据保护立法体系及监管要求

第一节 美国数据保护立法概况

第二节 美国数据保护监管案例

小结

进阶篇 不得不知，小白最常遇到的普通场景

第七章 “告知同意”就是用户“点击同意隐私政策”吗

第一节 “告知同意”法典化概况

第二节 “告知”规则的适用要求

第三节 获取个人的有效“同意”

小结

第八章 隐私政策不能抄！那该怎么办

第一节 用户同意的隐私政策是合同吗

第二节 隐私政策的合规要求

第三节 隐私政策的开发路径

小结

第九章 账号注销，落实起来不容易

第一节 账号注销，这事儿必须做

第二节 账号注销需要哪些流程才能完成

第三节 用户注销账号之后，企业还需要做什么

小结

第十章 员工个人信息保护，这事儿不能忘

第一节 雇用中国籍员工的注意事项

第二节 雇用外国籍员工的注意事项

第三节 境外分支机构雇用员工的注意事项

小结

高阶篇 见招拆招，小白化身数据合规专家应对高难场景

第十一章 更懂你的精准营销和个性化推荐

第一节 为什么广告是为我量身定做的：精准营销

第二节 为什么互联网产品总能“猜你喜欢”：个性化推荐

第三节 解开算法中的你和我

小结

第十二章 数据要素效能发挥：数据共享与交易

第一节 数据共享与交易的困境

第二节 平台企业有数据垄断“原罪”吗

小结

第十三章 生物识别技术的发展：人脸识别的恐慌与合规

第一节 辨析人脸识别技术及其应用场景

第二节 映射人脸识别的数据合规要点

小结

第十四章 出海业务中如何跨境传输数据才不碰雷

第一节 第一道雷：数据本地化

第二节 第二道雷：跨境传输合规机制

第三节 避雷指南：出海业务跨境传输合规三步走

小结

第十五章 企业上市中的数据合规：全面布局

第一节 证监会上市要求洞察与分析

第二节 拟上市企业的前期准备

第三节 企业上市后的合规保健

小结

第十六章 月薪10万元是个小目标：职业跨越式发展

第一节 从数据合规律师到数据保护官

第二节 数字化转型时代对数据保护官的进一步要求

后记

附录

附录A 名词解释

附录B 与数据保护相关的常用法规、规章与规范性文件

附录C 数据保护领域单行专项法律

附录D 综合性法律中的数据保护专条

附录E 关于数据本地化和出境要求的规范汇总

数据赋能

目录

作者简介

前言

第1章 数据赋能概述

引导案例 格力电器的数字化转型

1.1 数据赋能的时代背景

1.1.1 新工业革命——数字化、网络化、智能化

1.1.2 新生产要素——大数据

1.1.3 新经济形态——数字经济

1.2 何谓数据赋能

1.2.1 数据感知

1.2.2 智能认知

1.2.3 动态决策

1.2.4 精准执行

1.3 数据赋能制造业企业

1.3.1 制造业企业创新管理的三大系统与五条路线

1.3.2 数据赋能制造业企业创新管理的路径

本章小结

第2章 数据赋能战略决策

引导案例 金域医学的数字化转型战略

2.1 数据如何赋能战略决策

2.2 数据赋能战略决策的特征

2.2.1 战略场景可视化

2.2.2 战略分析算法化

2.2.3 战略决策动态化

2.3 数据赋能的新战略模式：数字化转型

2.3.1 数字化转型的内涵

2.3.2 数字化转型的三大目标

2.3.3 数字化转型的三项任务

2.3.4 数字化转型的三个阶段

本章小结

第3章 数据赋能研究开发

引导案例 潍柴动力的数字化研发

3.1 数据如何赋能研究开发

3.2 数据赋能研究开发的特征

3.2.1 需求分析精准化

3.2.2 研发设计高效化

3.2.3 研发流程并行化

3.3 数据赋能的新研发模式

3.3.1 数字化协同研发

3.3.2 数字化研发知识管理

本章小结

第4章 数据赋能生产制造

引导案例 赛意信息赋能南阳防爆打造智能制造行业标杆

4.1 数据如何赋能生产制造

4.2 数据赋能生产制造的特征

4.2.1 生产制造数字化

4.2.2 生产制造个性化

4.2.3 生产制造服务化

4.3 数据赋能的新制造模式：智能制造

4.3.1 智能制造的内涵

4.3.2 我国智能制造的四大特点

4.3.3 智能制造的基础：信息物理系统（CPS）

本章小结

第5章 数据赋能营销服务

引导案例 三维家：开启数字化营销新变革

5.1 数据如何赋能营销服务

5.2 数据赋能营销服务的特征

5.2.1 客户管理精细化

5.2.2 产品推送精准化

5.2.3 渠道布局网络化

5.2.4 销售管理智能化

5.3 数据赋能的新营销模式

5.3.1 C2B模式

5.3.2 “智能+”模式

5.3.3 场景营销模式

本章小结

第6章 数据赋能组织管理

引导案例 格力电器的数据赋能“五维全员管理”

6.1 数据如何赋能组织管理

6.2 数据赋能组织管理的特征

6.2.1 层次结构扁平化

6.2.2 组织功能平台化

6.2.3 管理模式智能化

6.2.4 决策权力自主化

6.3 数据赋能的新组织模式

6.3.1 数据赋能型组织的结构

6.3.2 数据赋能型组织的功能

本章小结

从实践中学习sqlmap数据库注入测试

目录

作者简介

前言

第1篇　测试准备

第1章 sqlmap环境配置

1.1 sqlmap基础知识

1.1.1 sqlmap简介

1.1.2 sqlmap注入流程

1.2 安装sqlmap

1.2.1 下载sqlmap安装包

1.2.2 在Windows中安装sqlmap

1.2.3 在Linux中安装sqlmap

1.3 启动sqlmap

1.3.1 标准模式

1.3.2 交互模式

1.3.3 向导模式

1.3.4 快速模式

1.4 sqlmap使用技巧

1.4.1 查看帮助信息

1.4.2 查看版本信息

1.4.3 使用短记忆法

1.4.4 更新sqlmap

1.4.5 使用INI配置文件

1.4.6 设置冗余级别

1.4.7 检查依赖

第2章 指定目标

2.1 单个目标

2.1.1 URL地址格式

2.1.2 指定目标URL

2.2 批量测试

2.2.1 指定多个目标

2.2.2 发出警报

2.2.3 检测到注入漏洞时报警

2.3 日志文件

2.3.1 捕获日志文件

2.3.2 指定日志文件

2.3.3 过滤日志文件中的目标

2.4 HTTP请求文件

2.4.1 使用BurpSuite抓包

2.4.2 指定HTTP请求文件

2.5 从谷歌搜索引擎中获取目标

2.5.1 谷歌基础语法

2.5.2 指定搜索目标

2.5.3 指定测试页面

2.6 爬取网站

2.6.1 指定爬取深度

2.6.2 排除爬取页面

2.6.3 设置临时文件目录

第3章 连接目标

3.1 设置认证信息

3.1.1 指定认证类型

3.1.2 指定认证凭证

3.1.3 指定私钥文件

3.2 代理网络

3.2.1 使用已有的代理服务器

3.2.2 使用新的代理服务器

3.2.3 指定代理服务器

3.2.4 指定代理凭证

3.2.5 指定代理列表

3.2.6 忽略系统级代理

3.3 Tor匿名网络

3.3.1 搭建Tor匿名网络

3.3.2 使用Tor匿名网络

3.3.3 检查Tor匿名网络

3.3.4 设置Tor代理端口

3.3.5 设置Tor代理类型

3.4 处理连接错误

3.4.1 忽略HTTP错误状态码

3.4.2 忽略重定向

3.4.3 忽略连接超时

3.5 检测WAF/IPS

3.6 调整连接选项

第4章 探测注入漏洞及数据库类型

4.1 探测GET参数

4.1.1 GET参数简介

4.1.2 使用sqlmap探测

4.1.3 手动探测

4.2 探测POST参数

4.2.1 POST参数简介

4.2.2 指定POST参数

4.2.3 自动搜索POST参数

4.2.4 从HTTP请求文件中读取POST参数

4.2.5 手动判断

4.3 探测Cookie参数

4.3.1 Cookie参数简介

4.3.2 指定Cookie参数

4.3.3 指定包括Cookie的文件

4.3.4 忽略Set-Cookie值

4.3.5 加载动态Cookie文件

4.3.6 手动判断

4.4 探测UA参数

4.4.1 UA参数简介

4.4.2 指定UA参数

4.4.3 使用随机UA参数

4.4.4 使用手机UA

4.4.5 手动判断

4.5 探测Referer参数

4.5.1 Referer参数简介

4.5.2 指定Referer参数

4.5.3 手动判断

4.6 添加额外的HTTP头

4.6.1 指定单个额外的HTTP头

4.6.2 指定多个额外的HTTP头

4.7 指定测试参数

4.7.1 指定可测试的参数

4.7.2 跳过指定的参数

4.7.3 跳过测试静态参数

4.7.4 使用正则表达式排除参数

4.7.5 指定测试参数的位置

第2篇　信息获取

第5章 获取MySQL数据库信息

5.1 MySQL数据库简介

5.2 获取数据库标识

5.3 获取服务器主机名

5.4 获取数据库的用户名

5.4.1 获取当前连接数据库的用户名

5.4.2 获取数据库的所有用户名

5.5 获取数据库用户的密码

5.5.1 获取用户密码的哈希值

5.5.2 在线破解哈希值

5.5.3 使用其他工具破解哈希值

5.6 获取数据库的名称

5.6.1 获取当前数据库的名称

5.6.2 获取所有数据库的名称

5.7 获取数据表

5.7.1 获取所有的数据表

5.7.2 获取指定数据库中的数据表

5.8 获取数据库架构

5.8.1 获取所有数据库的架构

5.8.2 获取指定数据库的架构

5.8.3 排除系统数据库

5.9 获取数据表中的列

5.9.1 获取所有的列

5.9.2 获取指定数据表的列

5.10 获取数据表中的内容

5.10.1 获取数据表中的全部内容

5.10.2 获取指定的数据表中的内容

5.10.3 获取所有的数据表中的内容

5.10.4 过滤数据表中的内容

5.10.5 获取指定列的数据

5.10.6 排除指定列的数据

5.10.7 获取注释信息

5.10.8 指定导出的数据格式

5.11 获取数据表的条目数

5.11.1 获取所有数据表的条目数

5.11.2 获取指定数据表的条目数

5.12 获取数据库的所有信息

5.13 搜索数据库信息

第6章 获取MSSQL数据库信息

6.1 获取数据库标识

6.2 检测是否为DBA用户

6.3 获取数据库的名称

6.3.1 获取当前数据库的名称

6.3.2 获取所有数据库的名称

6.4 获取数据表的名称

6.4.1 获取所有数据表的名称

6.4.2 获取指定数据库中的数据表的名称

6.5 获取数据库架构

6.5.1 获取所有数据库的架构

6.5.2 获取指定数据库的架构

6.5.3 排除系统数据库

6.6 获取数据表中的列

6.6.1 获取所有数据表中的列

6.6.2 获取指定数据表中的列

6.7 获取数据表中的内容

6.7.1 获取指定数据表中的内容

6.7.2 获取所有数据表中的内容

6.7.3 获取指定列的内容

6.7.4 排除指定列的内容

6.7.5 获取特定内容

6.7.6 获取数据表的条目数

6.8 获取数据库用户的权限

6.9 获取数据库用户和密码

6.9.1 获取数据库用户

6.9.2 获取用户密码

6.9.3 使用hashcat破解MSSQL密码的哈希值

第7章 获取Access数据库信息

7.1 Access数据库简介

7.2 指纹识别

7.3 暴力破解数据表名

7.3.1 数据表的字典列表

7.3.2 手动暴力破解表名

7.4 暴力破解数据表中的列

7.4.1 数据表中的列字典

7.4.2 手动暴力破解列名

7.5 导出数据表中的列

7.5.1 暴力破解列内容

7.5.2 手动暴力破解

第8章 获取Oracle数据库信息

8.1 指纹信息

8.2 获取数据库服务的主机名

8.3 获取数据库的用户

8.3.1 获取当前数据库的用户

8.3.2 获取所有数据库的用户

8.4 获取数据库用户的密码

8.5 获取数据库用户的角色

8.6 获取数据库用户的权限

8.6.1 判断是否为DBA权限

8.6.2 获取用户权限

8.7 获取数据库的名称

8.7.1 获取当前连接的数据库的名称

8.7.2 获取所有的数据库的名称

8.8 获取数据表

8.8.1 获取所有的数据表

8.8.2 获取指定数据库中的数据表

8.9 获取数据表结构

8.10 获取数据表信息

8.10.1 获取数据表列

8.10.2 获取数据表内容

8.10.3 获取指定列的数据

8.10.4 排除指定列的数据

8.10.5 获取数据表的条目数

第9章 使用SQL语句获取数据库信息

9.1 SQL语句

9.1.1 操作数据库语句

9.1.2 操作数据表语句

9.2 数据库变量与内置函数

9.2.1 全局变量

9.2.2 内置函数

9.3 执行SQL语句的方式

9.3.1 直接执行SQL语句

9.3.2 交互式SQL Shell模式

9.3.3 使用SQL文件

9.4 获取数据库信息

9.4.1 获取数据库版本

9.4.2 查询用户

9.4.3 查询当前操作系统

9.4.4 查询数据库的安装目录

9.4.5 查看当前数据库

9.4.6 查看数据表中的内容

9.4.7 查看系统文件

第3篇　高级技术

第10章 注入技术

10.1 基于布尔的盲注

10.1.1 判断及指定注入类型

10.1.2 设置匹配的字符串

10.1.3 设置不匹配的字符串

10.1.4 设置匹配的正则表达式

10.1.5 设置匹配的状态码

10.2 基于错误的注入

10.2.1 判断并指定注入类型

10.2.2 比较网页内容

10.2.3 比较网页标题

10.3 基于时间的盲注

10.3.1 判断并指定注入类型

10.3.2 设置数据库响应延时

10.4 联合查询注入

10.4.1 判断并指定注入类型

10.4.2 设置UNION列数

10.4.3 设置UNION字符

10.4.4 设置UNION查询表

10.5 堆叠注入

10.5.1 堆叠注入的局限性

10.5.2 实施堆叠注入

10.6 DNS注入

10.6.1 DNS注入原理

10.6.2 DNS注入要求

10.6.3 实施DNS注入

10.7 二级SQL注入

10.7.1 二级SQL注入原理

10.7.2 设置二级响应URL地址

10.7.3 加载二级SQL注入请求文件

10.8 自定义注入

10.8.1 设置问题答案

10.8.2 使参数值无效

10.8.3 自定义Payload

10.8.4 自定义函数注入

10.8.5 设置风险参数

第11章 访问后台数据库管理系统

11.1 连接数据库

11.1.1 直接连接数据库

11.1.2 指定数据库

11.2 执行操作系统命令

11.2.1 直接执行操作系统命令

11.2.2 获取交互式Shell

11.2.3 指定操作系统类型

11.2.4 指定Web服务器的根目录

11.3 访问文件系统

11.3.1 读取文件

11.3.2 写入文件

11.3.3 暴力枚举文件

11.4 访问Windows注册表

11.4.1 添加注册表项

11.4.2 读取注册表项

11.4.3 删除注册表项

11.4.4 辅助选项

11.5 建立带外TCP连接

11.5.1 创建远程会话

11.5.2 利用远程代码执行漏洞MS08-068

11.5.3 利用存储过程堆溢出漏洞MS09-004

11.5.4 提升权限

第12章 使用sqlmap优化注入

12.1 跳过低成功率的启发式测试

12.2 优化sqlmap性能

12.2.1 使用HTTP/HTTPS持久连接

12.2.2 HTTP NULL连接

12.2.3 设置HTTP请求线程

12.2.4 预测普通查询输出

12.2.5 启动所有优化

12.3 设置超时

12.3.1 设置请求失败的时间间隔

12.3.2 设置超时时间

12.3.3 尝试次数

12.4 处理请求和响应

12.4.1 预处理请求

12.4.2 后处理响应

第13章 保存和输出数据

13.1 保存HTTP数据包信息

13.1.1 保存为文本文件

13.1.2 保存为HAR文件

13.2 处理输出数据

13.2.1 使用HEX函数返回输出数据

13.2.2 获取二进制数据

13.2.3 声明包含Base64编码数据的参数

13.2.4 自定义SQL注入字符集

13.2.5 强制编码输出的数据

13.2.6 禁止彩色输出

13.2.7 不对未知字符进行编码

13.2.8 显示估计的完成时间

13.2.9 显示数据库错误信息

13.3 指定输出位置

13.3.1 指定多目标模式下CSV结果文件的保存位置

13.3.2 指定输出目录

13.3.3 指定临时文件的存储位置

13.4 会话管理

13.4.1 加载会话

13.4.2 清空会话

13.4.3 离线模式

13.4.4 清理痕迹

第14章 规避防火墙

14.1 设置安全模式

14.1.1 使用安全网址

14.1.2 从文件加载安全的HTTP请求

14.1.3 指定POST方式携带的数据

14.2 绕过CSRF防护

14.2.1 指定控制Token的参数

14.2.2 指定获取Token的网址

14.2.3 指定访问反CSRF令牌页的请求方法

14.2.4 设置反CSRF令牌重试次数

14.3 其他绕过防护系统的方式

14.3.1 使用HTTP污染技术

14.3.2 使用chunked传输编码方式

14.3.3 根据Python代码修改请求

14.3.4 关闭URL编码

14.4 使用脚本绕过防火墙

14.4.1 查看支持的脚本

14.4.2 使用Tamper脚本

深入浅出隐私计算：技术解析与应用实践

目录

作者简介

前言

第一篇 基础概念

第1章 隐私计算技术的起源、发展及应用

1.1 隐私计算技术的起源

1.2 隐私计算的概念

1.3 隐私计算技术的发展脉络

1.4 隐私计算技术是重大科技趋势

1.4.1 政策扶持

1.4.2 商业市场前景

1.4.3 商业研究机构的认同

1.5 隐私计算技术的应用场景

1.5.1 金融行业

1.5.2 医疗健康行业

1.5.3 政务行业

1.6 本章小结

第2章 隐私计算技术的基础知识

2.1 非对称加密RSA算法

2.1.1 RSA算法基础

2.1.2 密钥生成

2.1.3 加密与解密

2.1.4 基于RSA算法的盲签名

2.2 不经意传输

2.3 布隆过滤器

2.4 隐私计算安全性假设

2.4.1 安全行为模型

2.4.2 不诚实门限

2.5 本章小结

第二篇 安全保护技术

第3章 混淆电路技术的原理与实践

3.1 混淆电路的原理

3.2 开发框架Obliv-C

3.2.1 通过Docker构建环境

3.2.2 使用obliv修饰隐私输入数据

3.2.3 提供隐私输入数据

3.2.4 计算过程中的流程控制

3.2.5 obliv函数

3.2.6 对数组的访问

3.2.7 关键词frozen

3.2.8 高级功能：无条件代码段

3.2.9 Obliv-C项目的文件结构

3.3 应用案例：解决“百万富翁”难题

3.3.1 具体代码实现

3.3.2 网络抓包及分析

3.4 扩展阅读

3.4.1 姚氏布尔电路优化

3.4.2 算术电路

3.5 本章小结

第4章 秘密共享技术的原理与实践

4.1 秘密共享的概念

4.2 Shamir门限秘密共享方案

4.2.1 Shamir门限秘密共享方案流程

4.2.2 Shamir门限秘密共享方案原理

4.3 通过秘密共享实现隐私计算的原理

4.4 开发框架JIFF

4.4.1 通过Docker构建环境

4.4.2 JIFF服务器

4.4.3 JIFF客户端

4.4.4 隐私输入数据的秘密共享

4.4.5 秘密共享中的运算

4.4.6 计算过程中的流程控制

4.4.7 计算结果输出

4.4.8 模块扩展

4.4.9 使用预处理来提升性能

4.4.10 使用并行计算来提升性能

4.4.11 安全模型和假设

4.5 应用案例：求向量内积

4.5.1 具体代码实现

4.5.2 网络抓包及分析

4.5.3 性能优化

4.6 扩展阅读

4.6.1 GMW协议

4.6.2 BGW协议

4.6.3 SPDZ协议

4.6.4 门限签名

4.6.5 开发框架FRESCO

4.7 本章小结

第5章 同态加密技术的原理与实践

5.1 同态加密算法概述

5.1.1 同态加密算法的概念

5.1.2 同态加密算法的分类

5.2 半同态加密算法实践

5.2.1 Paillier加法同态

5.2.2 RSA乘法同态

5.3 开发框架SEAL

5.3.1 加密参数设置

5.3.2 密钥生成与加解密

5.3.3 层的概念

5.3.4 密文计算

5.3.5 重线性化

5.3.6 重缩放

5.3.7 通过Docker构建环境

5.4 应用案例：距离计算

5.5 扩展阅读

5.5.1 标准化进展

5.5.2 HElib

5.5.3 PALISADE

5.6 本章小结

第6章 零知识证明技术的原理与实践

6.1 零知识证明技术的算法原理

6.1.1 交互式零知识证明

6.1.2 非交互式零知识证明

6.1.3 通过R1CS来描述算术电路

6.1.4 开发步骤

6.2 开发框架libsnark

6.2.1 使用原型板搭建电路

6.2.2 生成密钥对

6.2.3 证明者构造证明

6.2.4 验证者验证

6.2.5 可复用的电路Gadget

6.2.6 通过Docker构建环境

6.2.7 代码的编译以及运行

6.3 应用案例：以零知识证明方式提供财富达标证明

6.4 同态承诺

6.4.1 承诺的概念

6.4.2 哈希承诺

6.4.3 椭圆曲线

6.4.4 Pedersen同态承诺

6.4.5 基于Pedersen同态承诺的转账

6.5 扩展阅读

6.5.1 Zash的Powers of Tau活动

6.5.2 无须可信设置的技术方案Spartan

6.6 本章小结

第7章 差分隐私技术的原理与实践

7.1 差分隐私概述

7.1.1 核心思想

7.1.2 分类

7.1.3 经典算法

7.1.4 应用场景

7.2 开发框架SmartNoise

7.2.1 SmartNoise核心库的组成

7.2.2 基于核心库进行数据分析

7.2.3 SmartNoise SDK库的组成

7.2.4 基于SDK库进行SQL统计查询

7.2.5 通过Docker构建环境

7.3 应用案例：美国人口数据统计

7.3.1 简单几何机制的直方图分析

7.3.2 拉普拉斯机制的直方图分析

7.4 扩展阅读

7.4.1 机器学习中的隐私攻击

7.4.2 差分隐私模型训练开源库Opacus

7.5 本章小结

第8章 可信执行环境技术的原理与实践

8.1 可信执行环境的原理

8.2 基于硬件的可信执行环境Intel SGX

8.2.1 SGX的安全特性

8.2.2 SGX可信应用程序执行流程

8.2.3 SGX相比纯软件方案的优势

8.2.4 SGX的不足

8.3 Intel SGX开发入门

8.3.1 判断系统是否支持SGX

8.3.2 SGX开发环境简介及搭建

8.3.3 基于Intel SGX SDK构建加密应用

8.3.4 SGX的启动审批机制

8.3.5 SGX的密钥

8.3.6 本地鉴证

8.3.7 远程鉴证

8.4 开发框架Teaclave

8.4.1 Teaclave架构

8.4.2 通过Docker构建环境

8.5 应用案例：Private Join and Compute

8.6 可信计算

8.6.1 可信计算的基本思想

8.6.2 可信计算的发展历史

8.6.3 可信计算在体系结构上的发展和变化

8.6.4 可信执行环境与可信计算的关系

8.7 扩展阅读

8.7.1 侧信道攻击

8.7.2 提升TEE开发易用性

8.7.3 手机上的可信执行环境

8.7.4 机密计算联盟

8.8 本章小结

第三篇 应用技术

第9章 隐私保护集合交集技术的原理与实践

9.1 PSI的实现原理

9.1.1 基于哈希的PSI

9.1.2 基于公钥加密的PSI

9.1.3 基于混淆电路等MPC技术的PSI

9.1.4 基于不经意传输的PSI

9.1.5 基于全同态加密的PSI

9.2 应用案例

9.2.1 基于BF和RSA的PSI

9.2.2 实现方案

9.2.3 运行环境以及执行

9.3 扩展阅读

9.3.1 谷歌的Private Join and Compute项目

9.3.2 PSI分析研究报告

9.4 本章小结

第10章 联邦学习

10.1 联邦学习的源起

10.2 联邦学习的分类

10.2.1 横向联邦学习

10.2.2 纵向联邦学习

10.2.3 联邦迁移学习

10.3 基础隐私计算技术在联邦学习中的应用

10.3.1 PSI在联邦学习中的应用

10.3.2 同态加密在联邦学习中的应用

10.3.3 秘密共享在联邦学习中的应用

10.3.4 差分隐私在联邦学习中的应用

10.3.5 TEE在联邦学习中的应用

10.4 扩展阅读

10.4.1 开源的联邦学习框架

10.4.2 联邦学习的国际标准

10.5 本章小结

第四篇 展望

第11章 隐私计算的困境与展望

11.1 隐私计算的困境

11.2 隐私计算的趋势与展望

11.3 隐私计算技术标准化

11.4 数据要素化与隐私计算

11.5 本章小结

云边协同大数据技术与应用

目录

前言

作者简介

第1章 云边协同大数据系统概述

1.1 云边协同发展历程

1.1.1 探索阶段

1.1.2 云阶段

1.1.3 云边协同阶段

1.2 云边协同数据处理

1.2.1 数据来源

1.2.2 处理模式

1.3 云边协同系统管理

1.3.1 云边协同负载

1.3.2 任务管理

1.3.3 资源管理

1.3.4 应用管理

1.4 云边协同典型场景

1.4.1 物联网大数据

1.4.2 视频大数据

1.4.3 智能驾驶大数据

1.5 本章小结

参考文献

第2章 云边融合的数据处理系统

2.1 云边协同环境下的数据处理简介

2.1.1 背景

2.1.2 环境

2.1.3 数据

2.1.4 处理模式

2.1.5 问题与挑战

2.2 云边协同环境下的数据预处理

2.2.1 简介

2.2.2 数据质量

2.2.3 数据清理

2.2.4 数据集成

2.2.5 数据归约

2.2.6 数据预处理小结

2.3 批流融合处理架构与系统

2.3.1 批流融合处理架构

2.3.2 批流处理系统的发展

2.3.3 批流融合处理前沿技术

2.4 典型技术案例SlimML

2.4.1 背景

2.4.2 非关键点验证

2.4.3 总体思想

2.4.4 架构

2.4.5 评测

2.5 本章小结

参考文献

第3章 边缘智能

3.1 背景

3.1.1 边缘计算

3.1.2 边缘智能

3.2 挑战

3.3 边缘训练前沿技术

3.3.1 边缘训练简介

3.3.2 中心化/去中心化训练简介

3.3.3 隐私保护

3.3.4 通信开销优化

3.3.5 梯度计算优化

3.3.6 边缘训练小结

3.4 边缘推断前沿技术

3.4.1 边缘推断简介

3.4.2 模型角度优化

3.4.3 系统角度优化

3.4.4 模型最优选择

3.4.5 模型自动生成

3.4.6 边缘推断小结

3.5 本章小结

参考文献

第4章 物联网与边缘智能数据安全隐私

4.1 数据安全与隐私技术的起源与发展

4.1.1 隐私技术的起源与发展

4.1.2 隐私保护技术现状

4.2 云边协同下的数据安全挑战

4.2.1 云边协同下的数据安全场景

4.2.2 云边协同下的恶意威胁模型

4.2.3 数据安全关键挑战

4.2.4 数据泄露案例

4.3 差分隐私技术

4.3.1 相关应用场景与挑战

4.3.2 差分隐私技术简介

4.3.3 差分隐私技术应用

4.3.4 相关前沿研究简介

4.4 安全多方计算技术

4.4.1 相关应用场景与挑战

4.4.2 安全多方计算简介

4.4.3 安全多方计算应用

4.4.4 相关前沿研究简介

4.5 同态加密技术

4.5.1 相关应用场景与挑战

4.5.2 同态加密技术简介

4.5.3 同态加密技术应用

4.5.4 相关前沿研究简介

4.6 区块链技术

4.6.1 相关应用场景与挑战

4.6.2 区块链技术简介

4.6.3 区块链技术应用

4.6.4 相关前沿研究简介

4.7 未来技术展望

4.8 本章小结

参考文献

第5章 云边协同典型应用

5.1 视频大数据

5.1.1 简介

5.1.2 数据特征

5.1.3 相关技术

5.1.4 典型案例

5.2 工业互联网大数据

5.2.1 简介

5.2.2 数据特征

5.2.3 相关技术

5.2.4 典型案例

5.3 智慧城市大数据

5.3.1 简介

5.3.2 数据特征

5.3.3 关键问题和前沿技术

5.3.4 典型案例

5.4 本章小结

参考文献

大规模数据分析和建模：基于Spark与R

目录

O’Reilly Media，Inc.介绍

译者序

序言

前言

第1章 引言

1.1 概述

1.2 Hadoop

1.3 Spark

1.4 R

1.5 sparklyr

1.6 小结

第2章 开始

2.1 概述

2.2 预备操作

2.2.1 安装sparklyr

2.2.2 安装Spark

2.3 连接

2.4 使用Spark

2.4.1 网络接口

2.4.2 分析

2.4.3 建模

2.4.4 数据

2.4.5 扩展

2.4.6 分布式R

2.4.7 流式数据

2.4.8 日志

2.5 断开连接

2.6 使用RStudio

2.7 资源

2.8 小结

第3章 分析

3.1 概述

3.2 数据导入

3.3 数据整理

3.3.1 内置函数

3.3.2 相关性

3.4 可视化

3.4.1 使用ggplot2

3.4.2 使用dbplot

3.5 建模

3.6 沟通

3.7 小结

第4章 建模

4.1 概述

4.2 探索性数据分析

4.3 特征工程

4.4 监督式学习

4.4.1 广义线性回归

4.4.2 其他模型

4.5 非监督式学习

4.5.1 数据准备

4.5.2 主题建模

4.6 小结

第5章 管道操作

5.1 概述

5.2 创建工作

5.3 用例

5.4 操作模式

5.5 交互性

5.6 部署

5.6.1 批打分

5.6.2 实时打分

5.7 小结

第6章 集群

6.1 概述

6.2 本地化

6.2.1 管理器

6.2.2 发行版

6.3 云端

6.3.1 亚马逊

6.3.2 Databricks

6.3.3 谷歌

6.3.4 IBM

6.3.5 微软

6.3.6 Qubole

6.4 Kubernetes

6.5 工具

6.5.1 RStudio

6.5.2 Jupyter

6.5.3 Livy

6.6 小结

第7章 连接

7.1 概述

7.1.1 边缘节点

7.1.2 Spark主目录

7.2 本地模式

7.3 单机模式

7.4 YARN

7.4.1 YARN客户端

7.4.2 YARN集群

7.5 Livy

7.6 Mesos

7.7 Kubernetes

7.8 云模式

7.9 批量模式

7.10 工具

7.11 多次连接

7.12 故障排除

7.12.1 记录日志

7.12.2 Spark Submit

7.12.3 Windows

7.13 小结

第8章 数据

8.1 概述

8.2 读取数据

8.2.1 路径

8.2.2 模式

8.2.3 内存

8.2.4 列

8.3 写入数据

8.4 复制数据

8.5 文件格式

8.5.1 CSV

8.5.2 JSON

8.5.3 Parquet

8.5.4 其他

8.6 文件系统

8.7 存储系统

8.7.1 Hive

8.7.2 Cassandra

8.7.3 JDBC

8.8 小结

第9章 调试

9.1 概述

9.1.1 计算图

9.1.2 时间线

9.2 配置

9.2.1 连接设置

9.2.2 提交设置

9.2.3 运行时设置

9.2.4 sparklyr设置

9.3 分区

9.3.1 隐式分区

9.3.2 显式分区

9.4 缓存

9.4.1 检查点

9.4.2 内存

9.5 重洗

9.6 序列化

9.7 配置文件

9.8 小结

第10章 扩展

10.1 概述

10.2 H2O

10.3 图模型

10.4 XGBoost

10.5 深度学习

10.6 基因组学

10.7 空间数据

10.8 故障排除

10.9 小结

第11章 分布式R

11.1 概述

11.2 用例

11.2.1 定制解析器

11.2.2 分区建模

11.2.3 网格搜索

11.2.4 Web API

11.2.5 模拟

11.3 分区

11.4 分组

11.5 列

11.6 context参数

11.7 函数

11.8 程序包

11.9 集群需求

11.9.1 安装R

11.9.2 Apache Arrow

11.10 故障排除

11.10.1 工作节点日志

11.10.2 解决超时

11.10.3 检查分区

11.10.4 调试工作节点

11.11 小结

第12章 数据流

12.1 概述

12.2 转换

12.2.1 分析

12.2.2 建模

12.2.3 管道

12.2.4 分布式R

12.3 Kafka

12.4 Shiny

12.5 小结

第13章 社区贡献

13.1 概述

13.2 Spark API

13.3 Spark扩展

13.4 使用Scala代码

13.5 小结

附录A 补充参考代码

分布式算法精髓

目录

作者简介

译者简介

译者序

前言

第1章 顶点着色

1.1 问题和模型

1.2 着色树

1.3 本章注释

1.4 参考文献

第2章 树算法

2.1 广播

2.2 融合广播

2.3 广度优先搜索树的构建

2.4 最小生成树的构建

2.5 本章注释

2.6 参考文献

第3章 领导人选举

3.1 匿名领导人选举

3.2 异步环

3.3 下界

3.4 同步环

3.5 本章注释

3.6 参考文献

第4章 分布式排序

4.1 数组和网格

4.2 排序网络

4.3 计数网络

4.4 本章注释

4.5 参考文献

第5章 共享内存

5.1 模型

5.2 互斥

5.3 存储和收集

5.4 分离器

5.5 二叉分离树

5.6 分离器矩阵

5.7 本章注释

5.8 参考文献

第6章 共享对象

6.1 集中式解决方案

6.2 Arrow算法

6.3 Ivy算法

6.4 本章注释

6.5 参考文献

第7章 极大独立集

7.1 MIS

7.2 原始的快速MIS

7.3 快速MIS v2

7.4 应用

7.5 本章注释

7.6 参考文献

第8章 本地下界

8.1 模型

8.2 本地性

8.3 邻域图

8.4 本章注释

8.5 参考文献

第9章 全局问题

9.1 直径和APSP

9.2 下界图

9.3 通信复杂度

9.4 分布式复杂度理论

9.5 本章注释

9.6 参考文献

第10章 同步

10.1 基础知识

10.2 本地同步器α

10.3 全局同步器β

10.4 混合同步器γ

10.5 网络分区

10.6 时钟同步

10.7 本章注释

10.8 参考文献

第11章 稳定性

11.1 自稳定性

11.2 高级稳定化

11.3 本章注释

11.4 参考文献

第12章 社交网络

12.1 小世界网络

12.2 传播研究

12.3 本章注释

12.4 参考文献

第13章 无线协议

13.1 基础知识

13.2 非统一的初始化

13.3 使用碰撞检测的统一初始化

13.4 无碰撞检测的统一初始化

13.5 领导人选举

13.6 使用碰撞检测的快速领导人选举

13.7 下界

13.8 统一异步唤醒

13.9 有用的公式

13.10 本章注释

13.11 参考文献

第14章 标记方案

14.1 邻接关系

14.2 有根树

14.3 道路网络

14.4 本章注释

14.5 参考文献

第15章 练习

数据库系统内幕

目录

O'Reilly Media,Inc.介绍

本书赞誉

推荐序一

推荐序二

推荐序三

译者序

前言

第一部分 存储引擎

第1章 简介与概述

1.1 数据库架构

1.2 内存数据库与磁盘数据库

1.3 面向列与面向行的数据库

1.3.1 面向行的数据布局

1.3.2 面向列的数据布局

1.3.3 区别与优化

1.3.4 宽列式存储

1.4 数据文件和索引文件

1.4.1 数据文件

1.4.2 索引文件

1.4.3 间接的主索引

1.5 缓冲、不可变性和有序性

1.6 本章小结

第2章 B树基础知识

2.1 二分搜索树

2.1.1 树的平衡

2.1.2 基于磁盘存储的树

2.2 基于磁盘的结构

2.2.1 机械硬盘

2.2.2 固态硬盘

2.2.3 磁盘存储结构

2.3 无处不在的B树

2.3.1 B树的层次结构

2.3.2 分隔键

2.3.3 B树查找复杂度

2.3.4 B树查找算法

2.3.5 键的数目

2.3.6 B树的节点分裂

2.3.7 B树的节点合并

2.4 本章小结

第3章 文件格式

3.1 动机

3.2 二进制编码

3.2.1 原始类型

3.2.2 字符串和变长数据

3.2.3 按位打包的数据：布尔值、枚举值和标志

3.3 通用原理

3.4 页的结构

3.5 分槽页

3.6 单元格布局

3.7 将单元格放进分槽页

3.8 管理变长数据

3.9 版本

3.10 校验和

3.11 本章小结

第4章 B树的实现

4.1 页头

4.1.1 魔数

4.1.2 同级指针

4.1.3 最右指针

4.1.4 节点的高键

4.1.5 溢出页

4.2 二分搜索

4.3 传播分裂与合并

4.4 再平衡

4.5 仅在右侧追加

4.6 压缩

4.7 清扫与维护

4.7.1 更新和删除导致的碎片

4.7.2 页的碎片整理

4.8 本章小结

第5章 事务处理与恢复

5.1 缓冲区管理

5.1.1 缓存语义

5.1.2 缓存回收

5.1.3 在缓存中锁定页

5.1.4 页置换

5.2 恢复

5.2.1 日志语义

5.2.2 操作日志与数据日志

5.2.3 steal和force策略

5.2.4 ARIES

5.3 并发控制

5.3.1 可串行化

5.3.2 事务隔离

5.3.3 读异常和写异常

5.3.4 隔离级别

5.3.5 乐观并发控制

5.3.6 多版本并发控制

5.3.7 悲观并发控制

5.3.8 基于锁的并发控制

5.4 本章小结

第6章 B树的变体

6.1 写时复制

6.2 抽象节点更新

6.3 惰性B树

6.3.1 WiredTiger

6.3.2 惰性自适应树

6.4 FD树

6.4.1 分段级联

6.4.2 对数级的有序段

6.5 Bw树

6.5.1 更新链

6.5.2 用CAS控制并发

6.5.3 结构修改操作

6.5.4 合并和垃圾收集

6.6 缓存无关B树

6.7 本章小结

第7章 日志结构存储

7.1 LSM树

7.1.1 LSM树的结构

7.1.2 更新与删除

7.1.3 LSM树的查找

7.1.4 合并迭代

7.1.5 协调

7.1.6 LSM树的维护

7.2 读写放大与空间放大

7.3 实现细节

7.3.1 有序字符串表

7.3.2 布隆过滤器

7.3.3 跳表

7.3.4 磁盘访问

7.3.5 压缩

7.4 无序LSM存储

7.4.1 Bitcask

7.4.2 WiscKey

7.5 LSM树中的并发

7.6 日志堆叠

7.6.1 闪存转换层

7.6.2 文件系统日志记录

7.7 LLAMA与精心堆叠

7.8 本章小结

第一部分总结

第二部分 分布式系统

第8章 简介与概述

8.1 并发执行

8.2 分布式计算的误区

8.2.1 处理

8.2.2 时钟和时间

8.2.3 状态一致性

8.2.4 本地和远程执行

8.2.5 处理故障的需要

8.2.6 网络分区和部分故障

8.2.7 级联故障

8.3 分布式系统抽象

8.4 两将军问题

8.5 FLP不可能定理

8.6 系统同步性

8.7 故障模型

8.7.1 崩溃故障

8.7.2 遗漏故障

8.7.3 任意故障

8.7.4 故障处理

8.8 本章小结

第9章 故障检测

9.1 心跳和ping

9.1.1 无超时的故障检测器

9.1.2 外包心跳

9.2 phi增量故障检测器

9.3 Gossip和故障检测

9.4 反向故障检测

9.5 本章小结

第10章 领导者选举

10.1 霸道选举算法

10.2 依次故障转移

10.3 候选节点/普通节点优化

10.4 邀请算法

10.5 环算法

10.6 本章小结

第11章 复制和一致性

11.1 实现可用性

11.2 臭名昭著的CAP理论

11.2.1 小心使用CAP

11.2.2 收成与产量

11.3 共享内存

11.4 顺序

11.5 一致性模型

11.5.1 严格一致性

11.5.2 可线性化

11.5.3 顺序一致性

11.5.4 因果一致性

11.6 会话模型

11.7 最终一致性

11.8 可调一致性

11.9 见证者副本

11.10 强最终一致性和CRDT

11.11 本章小结

第12章 反熵和传播

12.1 读修复

12.2 摘要读

12.3 提示移交

12.4 Merkle树

12.5 位图版本向量

12.6 Gossip传播

12.6.1 Gossip技术细节

12.6.2 覆盖网络

12.6.3 混合Gossip

12.6.4 局部视图

12.7 本章小结

第13章 分布式事务

13.1 多个操作的原子性

13.2 两阶段提交

13.2.1 2PC中的参与者故障

13.2.2 2PC中的协调者故障

13.3 三阶段提交

13.4 Calvin分布式事务

13.5 Spanner分布式事务

13.6 数据库分区

13.7 Percolator分布式事务

13.8 协调避免

13.9 本章小结

第14章 共识

14.1 广播

14.2 原子广播

14.2.1 虚同步

14.2.2 Zookeeper原子广播

14.3 Paxos

14.3.1 Paxos算法

14.3.2 Paxos的Quorum

14.3.3 故障场景

14.3.4 Multi-Paxos

14.3.5 快速Paxos

14.3.6 平等Paxos

14.3.7 柔性Paxos

14.3.8 共识的推广解法

14.4 Raft

14.4.1 Raft中的领导者角色

14.4.2 故障场景

14.5 拜占庭共识

14.5.1 PBFT算法

14.5.2 恢复和检查点

14.6 本章小结

第二部分总结

参考文献

作者介绍

译者介绍

封面介绍

数据应用工程：方法论与实践

目录

作者简介

赞誉

前言

第一部分　行业分析

第1章 数字化时代的变革与挑战

1.1 数字经济与生产变革

1.1.1 从农业经济到数字经济，从土地到数据

1.1.2 从规模化生产到个性化定制生产，从IT到DT

1.2 数字化时代的变革动能

1.2.1 技术发展创造变革

1.2.2 “新基建”提速变革

1.2.3 商业竞争驱动变革

1.2.4 社会治理需要变革

1.2.5 政府政策引导变革

1.3 数字化变革中的不确定性与挑战

1.3.1 环境不确定性

1.3.2 数字化变革的挑战

1.4 本章小结

第二部分　理论方法

第2章 技术变革与组织应用技术的规律

2.1 组织面对技术变革的三大挑战

2.1.1 新技术不断涌现，技术选择的挑战

2.1.2 创新风险很高，技术应用发展规划的挑战

2.1.3 发展常遇瓶颈，持续提升的挑战

2.2 事物发展的“第一性原理”

2.2.1 成熟度

2.2.2 成熟度模型

2.2.3 成熟度模型分类

2.3 技术创新规律与成熟度评估

2.3.1 技术发展生命周期规律

2.3.2 基于就绪水平的技术研发成熟度评估

2.3.3 考虑宣传期望的技术发展成熟度曲线

2.4 组织技术应用的发展规律与成熟度评估

2.4.1 指导早期信息化规划的诺兰成长阶段模型

2.4.2 诺兰模型在网络时代与智能时代的扩展

2.5 组织技术应用的能力建设规律与成熟度评估

2.5.1 从质量方法发展来的能力成熟度模型

2.5.2 能力成熟度模型的基础原理

2.5.3 软件领域广泛应用的能力成熟度模型

2.5.4 数据领域广泛应用的能力成熟度模型

2.6 本章小结

第3章 数据应用成熟度模型

3.1 模型开发背景

3.2 数据应用成熟度模型框架

3.2.1 模型框架说明

3.2.2 模型阶段与维度说明

3.3 数据应用成熟度模型评估

3.3.1 发展评估——数据应用维度

3.3.2 能力评估——数据工程维度

3.3.3 能力评估——数据治理维度

3.3.4 数据应用成熟度综合评估

3.4 数据应用成熟度模型的运用

3.4.1 模型运用流程

3.4.2 成熟度进阶建议和措施

3.5 数据工程过程

3.5.1 数据工程过程概述

3.5.2 数据理解过程

3.5.3 数据设计过程

3.5.4 数据处理过程——数据开发

3.5.5 数据处理过程——数据分析与数据科学建模

3.5.6 数据部署过程

3.5.7 数据运营过程

3.5.8 数据工程支持过程

3.6 数据治理过程

3.6.1 数据治理维度概述

3.6.2 宏观决策域

3.6.3 核心治理域——基本治理过程

3.6.4 核心治理域——综合治理过程

3.7 本章小结

第三部分　知识体系

第4章 数据治理与管理

4.1 元数据管理

4.1.1 元数据概述

4.1.2 元数据定义

4.1.3 元数据分类

4.1.4 元数据管理详解

4.2 数据质量管理

4.2.1 数据质量概述

4.2.2 数据质量问题

4.2.3 数据质量测量与评价

4.2.4 数据质量问题的解决方法

4.2.5 如何做好数据质量管理

4.3 数据安全管理

4.3.1 数据安全的内容与特点

4.3.2 数据安全管理流程

4.3.3 数据合规要求的法规体系

4.3.4 数据安全的基础合规要求

4.3.5 个人信息处理的专门合规要求

4.3.6 数据安全管理的技术和方法

4.4 本章小结

第5章 大数据技术详解

5.1 大数据技术的方法和流行开源组件

5.1.1 大数据的4V特性与技术挑战

5.1.2 大数据技术的主要方法

5.1.3 大数据技术的流行开源组件

5.2 大数据系统架构

5.2.1 MPP数据库架构

5.2.2 Hadoop体系的架构

5.2.3 两种架构的对比

5.2.4 存储与计算分离及云化的未来架构

5.3 大数据存储技术

5.3.1 分布式文件存储系统

5.3.2 分布式数据库系统

5.3.3 分布式消息传递系统

5.4 大数据计算技术

5.4.1 离线批处理

5.4.2 实时流处理

5.5 大数据分析技术

5.5.1 OLAP技术介绍

5.5.2 实时OLAP系统的两种架构模型

5.5.3 OLAP相关技术分类

5.5.4 OLAP技术典型流行产品示例

5.6 数据科学技术

5.6.1 机器学习的基础概念

5.6.2 有监督机器学习算法

5.6.3 无监督机器学习算法

5.7 本章小结

第四部分　实践案例

第6章 数据工程与治理案例——移动大数据的数据处理实践

6.1 统一的大数据工程与治理架构

6.2 数据仓库设计

6.2.1 数据模型架构设计

6.2.2 数据管理规范设计

6.2.3 数据规格设计

6.3 大数据日志收集技术

6.3.1 Web日志收集技术

6.3.2 移动端日志收集技术

6.3.3 埋点技术与埋点实现

6.4 数据处理设计

6.4.1 数据处理技术架构设计

6.4.2 数据处理流程设计

6.5 数据科学建模

6.5.1 数据科学建模工程流程示例

6.5.2 面向数据安全的Embedding数据特征提取方法与应用实例

6.5.3 基于移动设备行为数据的人口属性性别标签预测模型迭代实例

6.6 数据治理

6.6.1 数据治理平台的目标

6.6.2 数据治理平台的功能架构

6.6.3 元数据管理

6.6.4 血缘查询与告警

6.6.5 数据资产统计

6.6.6 其他功能模块示例

6.7 本章小结

第7章 数据工程过程案例——企业CDP建设中的数据工程实践

7.1 CDP平台的数据源梳理

7.1.1 数据源梳理过程的输入和输出

7.1.2 了解客户的业务及流程

7.1.3 了解客户的系统

7.1.4 了解客户的数据

7.2 CDP平台的标签体系及其口径梳理

7.2.1 标签体系及其口径梳理过程的输入和输出

7.2.2 标签体系内容说明

7.2.3 标签体系梳理

7.2.4 标签口径梳理

7.3 CDP平台的数据同步接口定义

7.3.1 数据同步接口定义过程的输入和输出

7.3.2 关于ETL和ELT

7.3.3 数据同步接口定义

7.4 CDP平台的数据模型设计

7.4.1 关于数据模型设计过程的输入与输出

7.4.2 数据模型设计

7.4.3 数据模型的应用

7.5 CDP平台的ETL设计

7.5.1 ETL设计过程的输入和输出

7.5.2 ETL设计

7.6 CDP平台的ETL开发

7.6.1 ETL开发过程的输入和输出

7.6.2 ETL开发流程

7.7 CDP平台的数据运维

7.7.1 运维过程的输入与输出

7.7.2 运维工作内容

7.8 本章小结

第8章 数据应用案例——大数据统计分析与个性化营销

8.1 统计级大数据应用——移动应用统计分析系统

8.1.1 业务背景

8.1.2 产品技术设计

8.1.3 具体实现示例与说明

8.2 个体级大数据应用——营销数据管理平台

8.2.1 产品背景

8.2.2 产品设计

8.2.3 具体实现示例

8.3 本章小结

第9章 数据应用案例——基于空间大数据的土地资源数字化精准监管

9.1 案例背景

9.2 数据处理过程

9.3 数字化的土地执法监管应用

9.4 本章小结

附录

附录A 成熟度模型的构建方法

附录B 数据应用成熟度模型设计说明

附录C 数据合规要求的法规文件汇总

MySQL应用实战与性能调优

目录

前言

第1章 MySQL入门和容器化部署

1.1 MySQL介绍

1.2 MySQL 8安装和升级

1.2.1 安装前说明

1.2.2 在Windows上安装MySQL

1.2.3 在Linux上安装MySQL

1.2.4 在Docker上安装MySQL

第2章 什么样的数据库设计才是优秀的

2.1 关系型数据库设计理论

2.2 连接数据库和基本信息查询

2.2.1 连接数据库

2.2.2 基本信息查询

2.3 数据库和表

2.3.1 创建数据库

2.3.2 创建表

2.4 数据类型和类型异常处理

2.4.1 数字数据类型

2.4.2 日期和时间数据类型

2.4.3 字符串数据类型

2.4.4 JSON数据类型

第3章 SQL语句全面解析和应用实战

3.1 数据库操作

3.2 数据表操作

3.2.1 创建数据表

3.2.2 数据表的修改与删除

3.2.3 约束

3.3 数据查询

3.4 数据插入

3.5 where（筛选）

3.6 and和or（与和或）

3.7 between（范围查找）

3.8 distinct（去重关键字）

3.9 update（修改或更新）

3.10 delete（删除）

3.11 like（模糊匹配）

3.12 order by（排序）

3.13 group by（分组）

3.14 with rollup（分组统计再统计）

3.15 having（分组筛选）

3.16 union和union all（组合查询）

3.17 join（连接查询）

3.17.1 inner join（内连接）

3.17.2 left join（左连接）

3.17.3 right join（右连接）

3.18 in和not in（多关键字筛选）

3.19 exists和not exists（是否返回结果集）

3.20 复制表

3.21 临时表

第4章 MySQL函数大全和高效率汇总统计实战

4.1 MySQL字符串函数

4.1.1 character_length(s)：返回字符串长度

4.1.2 concat(s1,s2,...,sn)：字符串合并

4.1.3 format(x,n)：数字格式化

4.1.4 lpad(s1,len,s2)：字符串填充

4.1.5 field(s,s1,s2,...)：返回字符串出现的位置

4.1.6 insert(s1,x,len,s2)：替换字符串

4.1.7 lcase(s)：把字符串中的所有字母转换为小写字母

4.1.8 ucase(s)：把字符串中的所有字母转换为大写字母

4.1.9 strcmp(s1,s2)：比较字符串大小

4.1.10 replace(s,s1,s2)：字符串替换

4.1.11 position(s1 in s)：获取子字符串在字符串中出现的位置

4.1.12 md5(s)：字符串加密

4.1.13 inet_aton(ip)：把IP地址转换为数字

4.1.14 inet_ntoa (s)：把数字转换为IP地址

4.2 MySQL数字函数

4.2.1 ceil(x)：返回不小于x的最小整数

4.2.2 ceiling(x)：返回不小于x的最小整数

4.2.3 floor(x)：返回不大于x的最大整数

4.2.4 round(x)：返回最接近x的整数

4.2.5 max(expression)：求最大值

4.2.6 min(expression)：求最小值

4.2.7 sum(expression)：求总和

4.2.8 avg(expression)：求平均值

4.2.9 count(expression)：求总记录数

4.3 MySQL日期函数

4.3.1 adddate(d,n)：返回指定日期加上指定天数后的日期

4.3.2 addtime(t,n)：返回指定时间加上指定时间后的时间

4.3.3 curdate()：返回当前日期

4.3.4 datediff(d1,d2)：返回两个日期相隔的天数

4.3.5 dayofyear(d)：返回指定日期是本年的第几天

4.3.6 extract(type from d)：根据对应格式返回日期

4.3.7 now()：返回当前日期和时间

4.3.8 quarter(d)：返回日期对应的季度数

4.3.9 second(t)：返回指定时间中的秒数

4.3.10 timediff(time1, time2)：计算时间差

4.3.11 date(t)：从指定日期时间中提取日期值

4.3.12 hour(t)：返回指定时间中的小时数

4.3.13 time(expression)：提取日期时间参数中的时间部分

4.3.14 time_format(t,f)：根据表达式显示时间

4.3.15 year(d)：返回指定日期的年份

4.4 MySQL高级函数

4.4.1 cast( x as type)：数据类型转换

4.4.2 coalesce(expr1, ..., exprn)：返回第一个非空表达式

4.4.3 if(expr,v1,v2)：表达式判断

4.4.4 ifnull(v1,v2)：null替换

4.4.5 isnull(expression)：判断表达式是否为null

4.4.6 nullif(expr1, expr2)：字符串相等则返回null

4.4.7 last_insert_id()：返回最近生成的自增ID

4.4.8 case expression：表达式分支

4.5 MySQL over()：窗口函数汇总分析

4.5.1 row_number()：顺序排名函数

4.5.2 rank()：跳级排名函数

4.5.3 dense_rank()：不跳级排名函数

4.5.4 lag(expr,n)：前分析函数，返回前n行的值

4.5.5 lead(expr,n)：后分析函数，返回后n行的值

4.5.6 first_value(expr)：头尾函数，返回第一个值

4.5.7 last_value(expr)：头尾函数，返回最后一个值

4.5.8 nth_value(expr,n)：从结果集中的第n行获取值

4.5.9 ntile(n)：数据集分桶

4.5.10 sum( )over(expr)：聚合求和

4.5.11 avg( )over(expr)：聚合求平均值

4.5.12 max( )over(expr)：聚合求最大值

4.5.13 min( )over(expr)：聚合求最小值

4.5.14 count( )over(expr)：聚合总条数

第5章 MySQL大表快速优化诀窍

5.1 分区

5.1.1 分区类型

5.1.2 范围分区

5.1.3 列表分区

5.1.4 列分区

5.1.5 哈希分区

5.1.6 键分区

5.1.7 子分区

5.1.8 MySQL分区对null的处理

5.1.9 分区管理

5.1.10 分区的限制

5.2 视图

5.3 存储过程

5.3.1 存储过程的创建和调用

5.3.2 带参数的存储过程

5.3.3 变量

5.3.4 注释

5.3.5 存储过程的修改和删除

5.3.6 存储过程的控制语句

5.4 游标

5.5 字符集和排序规则

5.5.1 MySQL中的字符集和排序规则

5.5.2 列字符集和排序规则

5.5.3 使用collate指定查询排序规则

第6章 MySQL创建高效的索引

6.1 索引

6.2 创建索引的指导原则

6.3 B-Tree索引和哈希索引的比较

6.4 高效SQL必备分析利器的执行计划分析

6.5 高效SQL的索引检索原理

6.5.1 主键索引

6.5.2 普通索引

6.5.3 复合索引

6.6 索引的使用技巧与SQL优化实战

6.6.1 避免回表查询

6.6.2 尽量使用联合索引

6.6.3 索引条件下推优化

6.6.4 避免全表扫描

6.6.5 负向查询不能使用索引

6.6.6 前导模糊查询不能使用索引

6.6.7 在字段上计算不能命中索引

6.6.8 查询条件类型不一致不能命中索引

6.6.9 明确知道只返回一条记录可以使用limit进行限制

6.6.10 limit分页优化

6.6.11 使用表内连接进行limit分页优化

6.6.12 union all优化（基于MySQL 8.0+）

6.6.13 or优化（基于MySQL 8.0+）

6.6.14 count(*)优化

6.6.15 on duplicate key update优化

第7章 InnoDB存储引擎揭秘和优化实战

7.1 InnoDB存储引擎实践

7.2 InnoDB和ACID模型

7.2.1 MySQL事务处理的两种方法

7.2.2 InnoDB MVCC

7.3 锁机制

7.3.1 表级锁

7.3.2 行级锁

7.3.3 共享锁

7.3.4 排他锁

7.3.5 意向锁

7.3.6 乐观锁

7.3.7 悲观锁

7.3.8 间隙锁

7.3.9 记录锁

7.3.10 临键锁

7.3.11 死锁

7.4 事务隔离级别

7.5 InnoDB内存结构解析和优化实战

7.5.1 缓冲池原理和优化

7.5.2 变更缓冲区原理与优化

7.5.3 自适应哈希索引原理与配置

7.5.4 日志缓冲区

7.6 InnoDB表实战调优

7.6.1 优化InnoDB表的存储

7.6.2 InnoDB事务处理优化

7.6.3 InnoDB只读事务优化

7.6.4 优化InnoDB重做日志

7.6.5 InnoDB磁盘I/O优化

7.6.6 配置InnoDB线程并发数量

7.6.7 配置InnoDB的I/O读写后台线程数量

7.6.8 InnoDB的并行读线程数量

7.6.9 InnoDB的I/O容量

第8章 MySQL基准测试数据的备份与还原

8.1 基准测试

8.1.1 Sysbench介绍

8.1.2 Sysbench测试实操

8.2 备份

8.3 还原

8.3.1 利用source命令导入数据库

8.3.2 利用load data导入数据

8.3.3 利用mysqlimport导入数据

第9章 MySQL高性能架构的读写分离

9.1 读写分离

9.2 MySQL主从复制

9.3 MySQL主从复制架构的搭建

9.3.1 配置主节点

9.3.2 配置从节点

9.3.3 主从复制

附录 常用函数速查表

A.1 MySQL字符串函数

A.1.1 ASCII(s)：返回字符串的ASCII码

A.1.2 char_length(s)：返回字符串长度

A.1.3 character_length(s)：返回字符串长度

A.1.4 concat(s1,s2,...,sn)：字符串合并

A.1.5 concat_WS(x, s1,s2,...,sn)：字符串合并

A.1.6 field(s,s1,s2,...)：返回字符串出现的位置

A.1.7 find in__set(s1,s2)：返回字符串的匹配位置

A.1.8 format(x,n)：数字格式化

A.1.9 insert(s1,x,len,s2)：替换字符串

A.1.10 locate(s1,s)：获取字符串出现的位置

A.1.11 lcase(s)：把字符串中的所有字母转换为小写字母

A.1.12 left(s,n)：返回字符串的前n个字符

A.1.13 lower(s)：把字符串中的所有字母转换为小写字母

A.1.14 lpad(s1,len,s2)：字符串填充

A.1.15 ltrim(s)：去掉字符串开始处的空格

A.1.16 mid(s,n,len)：从字符串的指定位置截取子字符串

A.1.17 replace(s,s1,s2)：字符串替换

A.1.18 reverse(s)：字符串反转

A.1.19 right(s,n)：返回字符串后n个字符

A.1.20 rpad(s1,len,s2)：在字符串中填充相应字符串

A.1.21 position(s1 in s)：获取子字符串在字符串中出现的位置

A.1.22 repeat(s,n)：字符串重复拼接

A.1.23 substring_index(s, s2, number)：返回字符串中第n个出现的子字符串

A.1.24 trim(s)：去掉字符串开始和结尾处的空格

A.1.25 ucase(s)：把字符串中的所有字母转换为大写字母

A.1.26 rtrim(s)：去掉字符串结尾处的空格

A.1.27 strcmp(s1,s2)：比较字符串的大小

A.1.28 substr(s, start, length)：从字符串中截取子字符串

A.1.29 substring(s, start, length)：从字符串中截取子字符串

A.1.30 md5(s)：字符串加密

A.1.31 inet_aton (ip)：把IP地址转换为数字

A.1.32 inet_ntoa(s)：把数字转换为IP地址

A.2 MySQL数字函数

A.2.1 abs(x)：求绝对值

A.2.2 sign(x)：返回数字符号

A.2.3 acos(x)：求反余弦值

A.2.4 asin(x)：求反正弦值

A.2.5 atan (x)：求反正切值

A.2.6 sin(x)：求正弦值

A.2.7 cos(x)：求余弦值

A.2.8 cot(x)：求余切值

A.2.9 tan(x)：求正切值

A.2.10 degrees(x)：将弧度转换为角度

A.2.11 radians(x)：将角度转换为弧度

A.2.12 exp(x)：返回e的x次方

A.2.13 ceil(x)：返回不小于x的最小整数

A.2.14 ceiling(x)：返回不小于x的最小整数

A.2.15 floor(x)：返回不大于x的最大整数

A.2.16 round(x)：返回最接近x的整数

A.2.17 greatest(expr1,expr2, ...)：返回列表中的最大值

A.2.18 least(expr1, expr2, expr3, ...)：返回列表中的最小值

A.2.19 ln(x)：求自然对数

A.2.20 log(x)或log(base, x)：求对数

A.2.21 log10(x)：求以10为底的对数

A.2.22 log2(x)：求以2为底的对数

A.2.23 max(expression)：求最大值

A.2.24 min(expression)：求最小值

A.2.25 sum(expression)：求总和

A.2.26 avg(expression)：求平均值

A.2.27 count(expression)：求总记录数

A.2.28 mod(x,y)：求余数

A.2.29 pow(x,y)：求x的y次方

A.2.30 sqrt(x)：求平方根

A.2.31 rand()：求随机数

A.2.32 truncate(x,y)：返回保留到小数点后n位的值

A.3 MySQL日期函数

A.3.1 adddate(d,n)：返回指定日期加上指定天数后的日期

A.3.2 addtime(t,n)：返回指定时间加上指定时间后的时间

A.3.3 curdate()：返回当前日期

A.3.4 current_date()：返回当前日期

A.3.5 current_time()：返回当前时间

A.3.6 current_timestamp()：返回当前日期和时间

A.3.7 curtime()：返回当前时间

A.3.8 date(t)：从指定日期时间中提取日期值

A.3.9 datediff(d1,d2)：返回两个日期相隔的天数

A.3.10 date_add(d, interval expr type)：给指定日期加上一个时间段后的日期

A.3.11 date_format(d,f)：根据表达式显示日期

A.3.12 date_sub(date, interval expr type)：从当前日期减去指定的时间间隔

A.3.13 day(d)：返回日期值中的日值

A.3.14 dayname(d)：返回指定日期是星期几

A.3.15 dayofmonth(d)：返回指定日期是本月的第几天

A.3.16 dayofweek(d)：返回指定日期是所在星期的第几天

A.3.17 dayofyear(d)：返回指定日期是本年的第几天

A.3.18 extract (type from d)：根据对应格式返回日期

A.3.19 from_days(n)：返回元年加n天的日期

A.3.20 hour(t)：返回指定时间中的小时数

A.3.21 last_day(d)：返回给定日期所在月份的最后一天

A.3.22 localtime()：返回当前日期和时间

A.3.23 localtimestamp()：返回当前日期和时间

A.3.24 makedate(year, day-of-year)：时间组合天数

A.3.25 maketime(hour, minute, second)：时间组合

A.3.26 microsecond(date)：返回时间参数中的微秒数

A.3.27 minute(t)：返回指定时间中的分钟数

A.3.28 monthname(d)：返回日期中的月份名称

A.3.29 month(d)：返回日期中的月份值

A.3.30 now()：返回当前日期和时间

A.3.31 period_add(period, number)：日期加月份数

A.3.32 period_diff(period1, period2)：返回两个时间之间的月份差

A.3.33 quarter(d)：返回日期对应的季度数

A.3.34 second(t)：返回指定时间中的秒数

A.3.35 sec to__time(s)：秒数转换为时间

A.3.36 str to__date(string, format_mask)：把字符串转换为日期

A.3.37 subdate(d,n)：从指定日期减去指定天数后的日期

A.3.38 subtime(t,n)：从指定时间减去指定秒数后的时间

A.3.39 sysdate()：返回当前日期和时间

A.3.40 time(expression)：提取日期时间参数中的时间部分

A.3.41 time_format(t,f)：根据表达式显示时间

A.3.42 time to__sec(t)：把时间转换为秒数

A.3.43 timediff(time1, time2)：计算时间差

A.3.44 timestamp(expression, interval)：指定时间加上时间间隔后的时间

A.3.45 to_days(d)：计算元年到当前日期的天数

A.3.46 week(d)：返回指定日期是本年的第几周

A.3.47 weekday(d)：返回指定日期是星期几

A.3.48 year(d)：返回指定日期的年份

A.4 MySQL高级函数

A.4.1 bin(x)：返回字符串的二进制编码

A.4.2 binary(s)：将字符串转换为二进制数

A.4.3 case expression：表达式分支

A.4.4 cast( x as type)：数据类型转换

A.4.5 coalesce(expr1,...,exprn)：返回第一个非空表达式

A.4.6 connection_id()：返回唯一连接ID

A.4.7 conv(x,f1,f2)：数据进制转换

A.4.8 convert( s using cs)：求字符串的字符集

A.4.9 current_user()：返回当前的用户名

A.4.10 database()：返回当前的数据库名

A.4.11 if(expr,v1,v2)：表达式判断

A.4.12 ifnull(v1,v2)：null替换

A.4.13 isnull(expression)：判断表达式是否为null

A.4.14 nullif(expr1, expr2)：字符串相等则返回null

A.4.15 last_insert_id()：返回最近生成的自增ID

A.4.16 session_user()：返回当前会话的用户名

A.4.17 version()：返回数据库的版本号