数据清洗电子书

前言

第1章 数据清洗基础

1.1 数据清洗概述

1.1.1 数据清洗的定义

1.1.2 数据清洗的对象

1.1.3 数据清洗的原理

1.1.4 数据清洗的评估

1.1.5 数据清洗的框架模型

1.1.6 数据清洗研究与应用展望

1.1.7 数据清洗的行业发展

1.2 数据标准化

1.2.1 数据标准化简介

1.2.2 数据标准化方法

1.2.3 数据标准化的实例

1.3 数据清洗的常用工具

1.4 实训1 安装和运行Kettle

1.5 实训2 安装和运行OpenRefine

1.6 实训3 安装和运行Python 3

1.7 小结

习题1

第2章 数据清洗方法

2.1 数据质量

2.1.1 数据质量的定义

2.1.2 数据质量中的常见术语

2.2 数据预处理

2.2.1 数据预处理简介

2.2.2 数据预处理方法

2.3 数据清洗方法

2.3.1 数据缺失值的处理方法

2.3.2 噪声数据的处理方法

2.3.3 冗余数据的处理方法

2.3.4 数据格式与内容的处理方法

2.4 数据清洗中的统计学基础

2.5 实训1 找出离群点

2.6 实训2 找出统计对象

2.7 实训3 找出数据清洗的步骤

2.8 实训4 找出异常数据

2.9 小结

习题2

第3章 文件类型

3.1 文件格式

3.1.1 文件格式概述

3.1.2 Windows中常见的文件格式

3.2 数据类型与字符编码

3.2.1 数据类型概述

3.2.2 字符编码

3.2.3 用Python读取文件

3.2.4 数据转换

3.3 数据转换的实现

3.3.1 用Python生成与读取CSV文件

3.3.2 用Python读取与转换JSON文件

3.4 实训1 将XML文件转换为JSON文件

3.5 实训2 将JSON文件转换为CSV文件

3.6 小结

习题3

第4章 数据采集与抽取

4.1 数据采集概述

4.1.1 了解数据采集

4.1.2 日志数据采集与处理的常见方法

4.1.3 数据采集平台

4.1.4 数据采集工具

4.2 网页数据采集与实现

4.2.1 网络爬虫概述

4.2.2 网页数据采集的实现

4.3 数据抽取

4.3.1 数据抽取概述

4.3.2 文本数据抽取

4.3.3 网页数据抽取

4.4 实训1 使用Kettle抽取本地XML文件

4.5 实训2 使用Kettle抽取CSV数据并输出为文本文件

4.6 小结

习题4

第5章 Excel数据清洗与转换

5.1 Excel数据清洗概述

5.1.1 Excel简介

5.1.2 Excel数据清洗与转换方法

5.2 Excel数据清洗与转换的实现

5.2.1 常用数据分析函数介绍

5.2.2 删除重复行

5.2.3 文本查找和替换

5.2.4 数据替换

5.2.5 字符串截取

5.2.6 字母大小写转换

5.2.7 删除空格和非打印字符

5.2.8 数字和数字符号的转换

5.2.9 日期和时间处理

5.2.10 合并和拆分列

5.2.11 数据的转置

5.2.12 数据查询和引用

5.3 实训1 清洗简单数据

5.4 实训2 清洗复杂数据

5.5 小结

习题5

第6章 ETL数据清洗与转换

6.1 数据仓库与ETL

6.1.1 数据仓库

6.1.2 ETL概述

6.2 Kettle数据清洗与转换基础

6.2.1 Kettle数据清洗

6.2.2 Kettle数据转换

6.3 Kettle数据仓库高级应用

6.4 实训1 在Kettle中识别流的最后一行并写入日志

6.5 实训2 在Kettle中用正则表达式清洗数据

6.6 实训3 使用Kettle过滤数据表

6.7 实训4 使用Kettle生成随机数并相加

6.8 小结

习题6

第7章 Python数据清洗

7.1 Python数据清洗基础

7.1.1 Python语言基础

7.1.2 Python数据清洗所用库

7.2 数据读写、选择、整理和描述

7.2.1 从CSV文件读取数据

7.2.2 写入数据到CSV文件

7.2.3 数据整理和描述

7.3 数据分组、分割、合并和变形

7.3.1 数据分组

7.3.2 数据分割

7.3.3 数据合并

7.3.4 数据变形

7.4 缺失值、异常值和重复值处理

7.4.1 缺失值处理

7.4.2 异常值检测和过滤

7.4.3 移除重复数据

7.5 时间序列处理

7.5.1 Python的日期与时间工具

7.5.2 Pandas时间序列数据结构

7.6 字符串处理

7.6.1 Python字符串方法列表

7.6.2 Python正则表达式

7.6.3 Pandas的字符串方法

7.7 实训1 清洗企业员工信息

7.8 实训2 清洗在校生饮酒消费数据

7.9 小结

习题7

第8章 R语言数据清洗

8.1 R语言简介

8.2 R语言基础

8.2.1 R语言运算符号

8.2.2 R语言数据类型

8.3 R语言data.table数据包

8.3.1 data.table数据包介绍

8.3.2 创建data.table对象

8.3.3 data.table的语法结构

8.3.4 变量的重命名

8.3.5 创建索引

8.3.6 数据排序

8.3.7 添加/更新/删除列

8.3.8 GROUP_BY函数

8.3.9 数据的聚合

8.4 R语言dplyr数据包

8.4.1 dplyr数据包介绍

8.4.2 数据转换对象tibble

8.4.3 数据筛选对象filter

8.4.4 数据排序对象arrange

8.4.5 选择对象select与重命名对象rename

8.4.6 添加列对象

8.4.7 数据抽样对象

8.4.8 数据汇总对象

8.5 R语言tidyr数据包

8.5.1 tidyr对象

8.5.2 数据转换函数

8.5.3 数据合并函数

8.5.4 数据拆分函数

8.5.5 数据填充函数

8.6 R语言lubridate数据包

8.7 R语言stringr数据包

8.7.1 stringr包

8.7.2 stringr包字符串处理函数

8.8 实训1 应用data.table数据包进行数据清洗

8.9 实训2 应用dplyr数据包进行数据清洗

8.10 小结

习题8

参考文献