机器学习电子书

版 权

内 容 提 要

前 言

资源与支持

彩图

第1章 绪 论

1.1 历史背景、现实状况和未来展望

1.2 人工智能、机器学习和深度学习的关系

1.3 机器学习的基本概念

1.3.1 机器学习的基本术语

1.3.2 机器学习算法的主要类型

1.3.3 机器学习的基本元素

1.4 机器学习发展历程

1.5 机器学习主要应用

1.6 机器学习相关背景

1.6.1 数学基础

1.6.2 Python

1.6.3 scikit-learn库

1.7 数据集操作实例

小结

笔试、面试题目选讲

习题

参考文献

第2章 线 性 回 归

2.1 线性回归问题提出

2.2 线性回归模型设计

2.3 模型求解之最小二乘法

2.4 模型求解之梯度下降法

2.4.1 一个数值实例

2.4.2 梯度

2.4.3 凸函数判定与黑塞矩阵

2.4.4 批量梯度下降法

2.4.5 随机梯度下降法

2.4.6 小批量梯度下降法

2.4.7 随机平均梯度下降法

2.4.8 动量梯度下降法

2.5 线性回归的概率解释

2.6 数据预处理

2.7 线性回归模型评价

2.8 线性回归算法实现

2.9 线性回归模型应用

2.10 多项式回归

2.11 局部加权线性回归

小结

笔试、面试题目选讲

习题

参考文献

第3章 感 知 机

3.1 感知机问题提出

3.2 感知机模型设计

3.3 感知机模型求解

3.3.1 模型求解之原始形式

3.3.2 模型求解之对偶形式

3.3.3 模型求解之误差形式

3.4 感知机模型证明

3.5 感知机算法实现

3.6 感知机模型应用

3.7 非线性可分感知机

3.7.1 口袋感知机

3.7.2 多项式感知机

小结

笔试、面试题目选讲

习题

参考文献

第4章 逻辑斯谛回归与Softmax回归

4.1 逻辑斯谛回归问题提出

4.2 逻辑斯谛回归模型设计

4.3 逻辑斯谛回归模型求解

4.4 逻辑斯谛回归算法实现

4.5 逻辑斯谛回归模型应用

4.6 Softmax回归模型设计

4.7 Softmax回归模型求解

4.8 Softmax回归算法实现

4.9 Softmax回归模型应用

4.10 多分类学习策略

4.11 数据不平衡问题

小结

笔试、面试题目选讲

习题

参考文献

第5章 正 则 化

5.1 欠拟合与过拟合问题提出

5.2 范数

5.3 正则化框架

5.4 L2正则化

5.4.1 岭回归模型求解

5.4.2 岭回归算法实现

5.4.3 岭回归模型应用

5.5 L1正则化

5.5.1 次导数和次梯度

5.5.2 坐标下降法

5.5.3 Lasso回归模型求解

5.5.4 Lasso回归算法实现

5.5.5 Lasso回归模型应用

5.6 线性回归、岭回归、Lasso回归模型对比

5.7 弹性网络

5.8 正则化的概率解释

小结

笔试、面试题目选讲

习题

参考文献

第6章 线性判别分析

6.1 向量内积与向量投影

6.2 线性判别分析问题提出

6.3 线性判别分析模型设计

6.3.1 二分类线性判别分析

6.3.2 多分类线性判别分析

6.4 线性判别分析算法实现

6.5 线性判别分析模型应用

小结

笔试、面试题目选讲

习题

参考文献

第7章 k近邻

7.1 k近邻问题提出

7.2 k近邻模型设计

7.2.1 相似性度量

7.2.2 k值的选择

7.2.3 预测规则

7.3 属性与样例预处理

7.3.1 属性预处理

7.3.2 样例预处理

7.4 k近邻模型求解

7.4.1 暴力搜索

7.4.2 k维树构建与搜索

7.4.3 球树构建与搜索

7.5 k近邻算法实现

7.6 k近邻模型应用

小结

笔试、面试题目选讲

习题

参考文献

第8章 朴素贝叶斯

8.1 朴素贝叶斯问题提出

8.2 朴素贝叶斯模型设计

8.2.1 概率与统计知识回顾

8.2.2 朴素贝叶斯模型

8.3 朴素贝叶斯模型求解

8.3.1 伯努利朴素贝叶斯参数估计

8.3.2 类别朴素贝叶斯参数估计

8.3.3 多项式朴素贝叶斯参数估计

8.3.4 高斯朴素贝叶斯参数估计

8.4 最大后验估计

8.5 朴素贝叶斯算法实现

8.6 朴素贝叶斯模型应用

小结

笔试、面试题目选讲

习题

参考文献

第9章 决策树

9.1 决策树问题提出

9.2 决策树模型设计

9.2.1 信息论基础

9.2.2 决策树构建

9.2.3 决策树剪枝

9.3 CART

9.3.1 CART构建

9.3.2 CART剪枝

9.4 决策树模型扩展

9.5 决策树算法实现

9.5.1 ID3算法实现

9.5.2 决策树可视化

9.5.3 CART生成算法实现

9.5.4 CART剪枝算法实现

9.6 决策树模型应用

小结

笔试、面试题目选讲

习题

参考文献

第10章 支持向量机

10.1 支持向量机问题提出

10.2 硬间隔与线性可分支持向量机

10.2.1 线性可分支持向量机目标函数

10.2.2 线性可分支持向量机对偶形式

10.2.3 线性可分支持向量机对偶形式初步求解

10.2.4 KKT条件

10.3 软间隔与线性支持向量机

10.4 核函数与非线性支持向量机

10.4.1 线性不可分与空间变换

10.4.2 核技巧与核函数

10.4.3 非线性支持向量机

10.5 支持向量机模型求解与SMO算法

10.6 支持向量机模型扩展

10.6.1 多分类支持向量机

10.6.2 支持向量回归

10.7 SMO算法实现

10.8 SMO算法应用

小结

笔试、面试题目选讲

习题

参考文献

第11章 人工神经网络

11.1 人工神经网络的提出和发展

11.2 人工神经网络的基本结构

11.2.1 神经元

11.2.2 激活函数

11.2.3 神经网络

11.2.4 正向传播算法

11.2.5 通用近似定理

11.3 人工神经网络的训练方法

11.3.1 神经网络的学习法则

11.3.2 神经网络的训练数据

11.3.3 神经网络的损失函数

11.3.4 误差反向传播算法的一个示例

11.3.5 误差反向传播算法的一般形式

11.3.6 神经网络的优化算法

11.4 人工神经网络的常见问题与解决方法

11.4.1 初始化、梯度消失与激活函数

11.4.2 局部最优解与训练方法

11.4.3 过拟合与正则化

11.4.4 学习时间长与加速方法

11.5 人工神经网络算法实现

11.6 人工神经网络模型应用

小结

笔试、面试题目选讲

习题

参考文献

第12章 特征工程

12.1 特征工程的提出

12.1.1 特征工程的必要性

12.1.2 数据集与相关Python包

12.2 数据探索

12.2.1 基本情况分析

12.2.2 缺失值检测

12.2.3 异常值检测

12.2.4 单变量分析

12.2.5 多变量分析

12.3 数据预处理

12.3.1 缺失值处理

12.3.2 异常值处理

12.3.3 类别不平衡处理

12.4 特征变换

12.4.1 特征编码

12.4.2 特征标准化和归一化

12.4.3 特征构造

12.5 特征选择

小结

笔试、面试题目选讲

习题

参考文献

第13章 模型评估与选择

13.1 模型评估与选择的提出

13.2 损失函数与误差分析

13.2.1 模型的表示方式和损失函数

13.2.2 训练误差、测试误差与泛化误差

13.2.3 偏差、方差与误差分析

13.3 数据集划分与模型选择

13.3.1 简单划分法

13.3.2 交叉验证法

13.3.3 自助划分法

13.3.4 数据集划分实践操作

13.4 性能指标与性能度量

13.4.1 查准率、查全率与P-R曲线

13.4.2 ROC曲线

13.4.3 性能指标与性能度量实践操作

13.5 模型调参

13.5.1 模型调参的主要方法

13.5.2 验证曲线和学习曲线

13.5.3 模型调参的实践操作

小结

笔试、面试题目选讲

习题

参考文献