数据处理与特征工程电子书

书名页

内容提要

作者简介

前言

第1章　数据的重要性

1.1　数据在AI大模型中的核心作用

1.1.1　大模型的数据驱动特性

1.1.2　数据与模型精度的关系

1.2　数据质量对模型性能的影响

1.2.1　数据噪声与模型偏差

1.2.2　数据完整性与一致性

1.3　大数据时代的数据挑战

1.3.1　数据存储与管理

1.3.2　数据隐私与安全

1.4　新兴技术在数据处理中的应用

1.4.1　云计算与分布式存储

1.4.2　边缘计算与实时数据处理

1.4.3　人工智能和机器学习在数据处理中的应用

第2章　数据采集与清洗

2.1　数据采集的方法

2.1.1　网络爬虫与数据抓取

2.1.2　数据库与数据集的利用

2.1.3　传感器与实时数据采集

2.2　数据清洗的技术

2.2.1　缺失值处理

2.2.2　噪声与异常值检测

2.2.3　数据一致性与重复值处理

第3章　数据探索与可视化

3.1　数据探索的目的与方法

3.1.1　探索性数据分析（EDA）

3.1.2　数据探索工具和技术

3.2　数据可视化技术

3.2.1　基本图表与统计图表

3.2.2　高级可视化技术

3.3　数据特征和模式的发现

3.3.1　数据分布与统计特征

3.3.2　相关性分析

3.4　新兴可视化技术

3.4.1　增强现实（AR）与虚拟现实（VR）可视化

3.4.2　动态与实时数据可视化

第4章　特征选择

4.1　特征选择的重要性

4.1.1　特征选择对模型性能的影响

4.1.2　过拟合与特征选择

4.2　常用特征选择方法

4.2.1　过滤法

4.2.2　包装法

4.2.3　嵌入法

4.3　特征选择后的评估指标

4.3.1　特征重要性评分

4.3.2　交叉验证

4.4　新兴特征选择方法

4.4.1　基于强化学习的特征选择

4.4.2　自适应特征选择技术

第5章　特征提取

5.1　特征提取的概念与意义

5.1.1　特征提取在数据处理中的角色

5.1.2　特征提取的基本流程

5.2　从原始数据中提取特征的方法

5.2.1　数值数据的特征提取

5.2.2　类别数据的特征提取

5.3　自动化特征提取工具与技术

5.3.1　自动编码器

5.3.2　深度学习中的特征提取

5.4　新兴特征提取技术

5.4.1　基于生成对抗网络（GAN）的特征提取

5.4.2　迁移学习中的特征提取

第6章　特征构造

6.1　特征构造的重要性

6.1.1　特征构造对模型的影响

6.1.2　领域知识在特征构造中的应用

6.2　常用特征构造方法

6.2.1　数学变换与组合

6.2.2　领域知识与特征交互

6.3　特征构造的实践案例

6.4　新兴特征构造技术

6.4.1　基于图神经网络（GNN）的特征构造

6.4.2　多模态数据的特征构造

第7章　数据转换

7.1　数据标准化与归一化

7.1.1　标准化方法

7.1.2　归一化技术

7.2　数据变换技术

7.2.1　对数变换与幂变换

7.2.2　离散化与二值化

7.3　新兴数据转换技术

7.3.1　基于量子计算的数据变换

7.3.2　自适应数据变换方法

第8章　降维技术

8.1　降维的意义

8.1.1　降维对计算复杂度的影响

8.1.2　降维与数据可视化

8.2　主成分分析（PCA）

8.2.1　PCA的基本原理

8.2.2　PCA在实际中的应用

8.3　t-SNE

8.3.1　t-SNE的基本原理

8.3.2　t-SNE在高维数据中的应用

8.4　其他降维方法

8.4.1　线性判别分析（LDA）

8.4.2　非负矩阵分解（NMF）

8.5　新兴降维技术

8.5.1　基于深度学习的降维方法

8.5.2　非线性降维技术

第9章　文本特征工程

9.1　自然语言处理中的特征工程

9.1.1　NLP中特征工程的重要性

9.1.2　NLP中的常用特征

9.2　文本预处理

9.2.1　分词与词形还原

9.2.2　停用词与词频

9.3　文本特征提取方法

9.3.1　词袋模型（BoW）

9.3.2　TF-IDF

9.3.3　词向量与词嵌入表示

9.4　新兴文本特征提取技术

9.4.1　基于BERT的特征提取

9.4.2　多语言嵌入技术

第10章　图像和音频特征工程

10.1　图像数据的特征提取

10.1.1　基本图像处理技术

10.1.2　深度学习中的图像特征提取

10.2　音频数据的特征提取

10.2.1　时域与频域特征

10.2.2　声谱图与MFCC

10.3　新兴图像与音频特征提取技术

10.3.1　基于卷积神经网络（CNN）的特征提取

10.3.2　基于Transformer的特征提取

第11章　时间序列分析

11.1　时间序列数据的特点

11.1.1　时间序列数据的独特性

11.1.2　时间序列数据的预处理

11.2　时间序列特征提取

11.2.1　基本统计特征

11.2.2　滑动窗口与时间延迟嵌入

11.3　时间序列预测模型

11.4　新兴时间序列分析技术

11.4.1　基于注意力机制的时间序列分析

11.4.2　变分自编码器（VAE）在时间序列中的应用

第12章　模型与特征的交互

12.1　模型选择对特征工程的影响

12.1.1　模型与特征选择的协同作用

12.1.2　不同模型对特征工程的要求

12.2　特征重要性评估与模型解释

12.2.1　特征重要性评估方法

12.2.2　模型解释与可解释性

12.3　不同模型的特征工程策略

12.3.1　线性模型

12.3.2　非线性模型

12.3.3　集成模型

12.4　新兴模型与特征交互技术

12.4.1　基于混合专家模型的特征工程

12.4.2　自适应模型选择与特征优化

第13章　自动化特征工程

13.1　自动化特征选择

13.1.1　自动化特征选择工具

13.1.2　自动化特征选择的优势

13.2　自动化特征构造

13.2.1　自动化特征构造工具

13.2.2　实践中的自动化特征构造

13.3　自动化特征工程平台与实践案例

13.3.1　现有自动化特征工程平台介绍

13.3.2　自动化特征工程的成功案例

13.4　新兴自动化特征工程技术

13.4.1　基于AutoML的特征工程

13.4.2　生成对抗网络（GAN）在特征工程中的应用