机器学习原理及应用电子书

前言

第1章 绪论

1.1 机器学习的定义

1.2 机器学习的发展历史

1.3 机器学习的分类

1.3.1 监督学习

1.3.2 无监督学习

1.3.3 半监督学习

1.3.4 强化学习

1.4 基本术语与符号

1.4.1 基本术语

1.4.2 基本符号

1.5 机器学习的过程

1.6 将Python用于机器学习

1.6.1 安装Python解释器

1.6.2 安装PyCharm

1.6.3 安装Anaconda

1.6.4 用于科学计算、数据科学和机器学习的软件包

1.7 本章小结

1.8 习题

第2章 模型评估与调优

2.1 概述

2.2 评估方法

2.2.1 留出法

2.2.2 交叉验证法

2.2.3 留一法交叉验证

2.2.4 自助法

2.3 优化

2.3.1 用学习和验证曲线调试算法

2.3.2 通过网格搜索调优机器学习模型

2.4 性能度量

2.4.1 错误率与准确率

2.4.2 查准率、查全率与F1

2.4.3 ROC与AUC

2.4.4 多元分类评估指标

2.5 本章小结

2.6 习题

第3章 回归分析

3.1 引言

3.1.1 回归分析概述

3.1.2 回归分析的目标

3.1.3 回归分析的步骤

3.2 一元线性回归

3.2.1 一元线性回归模型

3.2.2 参数w和b的推导过程

3.2.3 一元线性回归模型的代码实现及应用

3.3 多元线性回归

3.3.1 多元线性回归模型和参数求解

3.3.2 多元线性回归模型的代码实现及应用

3.4 对率回归

3.4.1 对率回归模型

3.4.2 参数w和b的推导过程

3.4.3 参数更新公式的推导

3.4.4 对率回归模型的代码实现及应用

3.5 多项式回归

3.6 正则化回归

3.6.1 岭回归模型

3.6.2 最小绝对收缩与选择算子（LASSO回归）

3.6.3 弹性网络

3.7 回归模型的评价指标

3.8 回归分析实践

3.8.1 构建波士顿房价预测模型

3.8.2 构建信用卡欺诈行为分类模型

3.9 本章小结

3.10 习题

第4章 决策树

4.1 决策树概述

4.1.1 决策树的概念

4.1.2 决策树的优缺点

4.2 决策树的划分准则

4.2.1 信息增益

4.2.2 增益率

4.2.3 基尼指数

4.3 决策树的建立

4.3.1 决策树的归纳过程

4.3.2 决策树实例分析

4.3.3 决策树停止准则

4.3.4 决策树剪枝

4.4 多变量决策树

4.5 集成方法

4.5.1 随机森林

4.5.2 梯度提升树

4.6 回归树

4.6.1 回归决策树

4.6.2 回归加权平均树

4.6.3 随机森林回归树

4.6.4 梯度提升回归树

4.7 决策树实践

4.7.1 构建巴黎住房分类模型

4.7.2 构建航班价格预测模型

4.8 本章小结

4.9 习题

第5章 神经网络

5.1 神经网络的发展历史

5.2 神经元模型

5.2.1 生物学的神经元模型

5.2.2 M-P神经元模型

5.3 激活函数

5.3.1 Sigmoid激活函数

5.3.2 tanh激活函数

5.3.3 ReLU激活函数

5.3.4 采用激活函数的原因

5.3.5 激活函数的特点

5.4 感知机模型

5.4.1 感知机模型的结构

5.4.2 感知机模型的原理

5.4.3 感知机模型的实现

5.4.4 感知机模型的优缺点

5.5 多层前馈神经网络模型

5.5.1 多层前馈神经网络的工作原理

5.5.2 多层前馈神经网络参数的学习过程

5.5.3 多层前馈神经网络算法的实现

5.6 训练方法

5.6.1 梯度下降法

5.6.2 随机梯度下降法

5.6.3 小批量梯度下降法

5.7 梯度消失和梯度爆炸

5.7.1 产生原因

5.7.2 解决方案

5.8 神经网络实践：构建南瓜子分类模型

5.8.1 数据的简单分析

5.8.2 利用感知机

5.8.3 利用多层感知机

5.9 本章小结

5.10 习题

第6章 支持向量机

6.1 支持向量机概述

6.1.1 线性分类

6.1.2 最大间隔分类

6.2 硬间隔支持向量机

6.2.1 硬间隔支持向量机模型

6.2.2 利用对偶问题求解

6.2.3 硬间隔支持向量机求解实例

6.3 核支持向量机

6.3.1 核函数

6.3.2 核函数求解实例

6.4 软间隔支持向量机

6.4.1 松弛变量

6.4.2 对偶问题

6.5 感知机与SVM线性可分的区别

6.6 SVM的优缺点

6.7 支持向量机实践：构建手机价格分类模型

6.7.1 数据的简单分析

6.7.2 利用硬间隔支持向量机

6.7.3 利用软间隔支持向量机

6.8 本章小结

6.9 习题

第7章 贝叶斯分类器

7.1 贝叶斯分类器概述

7.1.1 贝叶斯定理

7.1.2 贝叶斯定理的应用

7.1.3 贝叶斯思想

7.2 贝叶斯分类器的原理

7.2.1 贝叶斯决策论

7.2.2 极大似然估计

7.3 朴素贝叶斯分类器

7.4 半朴素贝叶斯分类器

7.4.1 超父独依赖分类器

7.4.2 平均独依赖估计

7.4.3 树增广朴素贝叶斯

7.5 贝叶斯网络

7.5.1 贝叶斯网络的定义

7.5.2 贝叶斯网络的结构特征

7.5.3 贝叶斯网络的学习

7.5.4 贝叶斯网络的推断

7.6 贝叶斯分类器实践：构建鸢尾花分类模型

7.6.1 数据的简单分析

7.6.2 利用朴素贝叶斯

7.6.3 利用半朴素贝叶斯

7.6.4 利用贝叶斯网络

7.7 本章小结

7.8 习题

第8章 聚类分析

8.1 聚类概述

8.1.1 聚类的相关概念

8.1.2 聚类与分类的区别

8.1.3 聚类算法的分类

8.1.4 相似性度量

8.1.5 归一化处理

8.2 基于划分的聚类算法

8.2.1 K-Means算法

8.2.2 K-Means++算法

8.2.3 K-Medoid算法

8.2.4 Kernel K-Means算法

8.2.5 Mini-Batch K-Means算法

8.2.6 K-Means with Triangle Inequality算法

8.3 基于层次的聚类算法

8.3.1 层次聚类算法的基础

8.3.2 Hierarchical K-Means算法

8.3.3 Agglomerative Clustering算法

8.3.4 BIRCH算法

8.4 基于密度的聚类算法

8.4.1 DBSCAN算法

8.4.2 OPTICS算法

8.5 谱聚类算法

8.5.1 图划分思想

8.5.2 相似度矩阵

8.5.3 拉普拉斯矩阵

8.5.4 谱聚类算法的步骤

8.6 基于网格的聚类算法

8.7 基于模型的聚类算法

8.8 聚类评估

8.8.1 估计聚类趋势

8.8.2 确定簇数

8.8.3 测定聚类质量

8.9 聚类分析实践：对客户进行细分

8.9.1 数据预处理

8.9.2 利用K-Means算法

8.9.3 利用Agglomerative Clustering算法

8.10 本章小结

8.11 习题

第9章 降维技术

9.1 降维的重要性

9.1.1 维度爆炸

9.1.2 降维的原因

9.2 主成分分析算法

9.2.1 向量投影和矩阵投影的含义

9.2.2 向量降维和矩阵降维

9.2.3 PCA的优化目标

9.2.4 PCA算法的原理

9.2.5 PCA算法的步骤

9.2.6 PCA的应用

9.2.7 核主成分分析

9.3 奇异值分解

9.3.1 矩阵的特征分解

9.3.2 SVD的定义

9.3.3 SVD算法的步骤

9.3.4 SVD的重要性质

9.4 降维技术实践：对生物体的基因进行降维

9.4.1 数据的简单分析

9.4.2 利用PCA进行降维

9.4.3 利用SVD进行降维

9.5 本章小结

9.6 习题

第10章 集成学习

10.1 自助聚合算法

10.1.1 Bagging算法的思想

10.1.2 随机森林

10.2 可提升算法

10.2.1 Boosting的基本概念

10.2.2 AdaBoost

10.2.3 Bagging与Boosting的区别

10.2.4 梯度提升算法

10.3 堆叠算法

10.4 集成学习实践：构建红酒分类模型

10.4.1 利用Bagging实现

10.4.2 利用Boosting实现

10.4.3 利用Stacking实现

10.5 本章小结

10.6 习题

参考文献