机器学习电子书

前言

第1章 基本知识

1.1 什么是机器学习

1.1.1 属性

1.1.2 标注

1.2 机器学习的分类

1.2.1 监督与无监督学习

1.2.2 分类与回归

1.3 模型评估

1.3.1 分类模型评估

1.3.2 回归模型评估

1.4 优化

1.4.1 损失函数

1.4.2 目标函数

1.4.3 最小二乘法

1.4.4 梯度下降法

1.4.5 梯度修正

1.4.6 学习率调整

1.5 小结与拓展

实验一：模型评价函数编程实验

习题

参考文献

第2章 表征学习

2.1 表征学习的目的

2.2 数据预处理

2.3 主成分分析

2.3.1 目标函数

2.3.2 基于主成分分析表征学习模型

2.3.3 人脸PCA表征学习

2.4 线性鉴别分析

2.4.1 类内散布矩阵和类间散布矩阵

2.4.2 类可判别性测度

2.4.3 LDA原理

2.4.4 人脸的LDA表征学习

2.5 多维缩放

2.6 流形学习

2.6.1 流形

2.6.2 等度量映射

2.6.3 局部线性嵌入

2.7 随机近邻嵌入

2.7.1 基本随机近邻嵌入

2.7.2 t分布随机近邻嵌入

2.8 稀疏表征

2.8.1 压缩感知

2.8.2 重构算法

2.8.3 字典学习

2.8.4 压缩感知在人脸识别中的应用

2.9 小结与拓展

实验二：表征学习实验

习题

参考文献

第3章 贝叶斯分类器

3.1 贝叶斯基本概念

3.2 贝叶斯决策准则

3.3 高斯混合模型

3.4 未知概率密度函数估计

3.4.1 极大似然估计

3.4.2 极大后验概率估计

3.4.3 期望极大算法

3.5 朴素贝叶斯

3.6 拉普拉斯平滑

3.7 小结与拓展

实验三：贝叶斯分类器实验

习题

第4章 近邻分类器

4.1 近邻规则

4.2 加权近邻分类器

4.3 近邻分类器加速策略

4.3.1 移除消极样本

4.3.2 构建搜索树

4.3.3 部分维度距离计算

4.4 小结与拓展

实验四：近邻分类器实验

习题

参考文献

第5章 线性模型

5.1 二类线性模型

5.2 Lasso回归

5.2.1 Lasso回归求解

5.2.2 坐标轴下降法

5.3 逻辑回归

5.4 支持向量机

5.4.1 线性可分支持向量机

5.4.2 近似线性可分支持向量机

5.5 多类线性模型

5.5.1 基本策略

5.5.2 Softmax回归

5.6 类不平衡问题

5.6.1 阈值移动

5.6.2 数据再平衡

5.7 小结与拓展

实验五：线性模型实验

习题

参考文献

第6章 非线性模型

6.1 二次判别分析

6.2 核方法

6.2.1 希尔伯特空间

6.2.2 核函数

6.2.3 常用核函数

6.2.4 核函数的应用

6.3 小结与拓展

实验六：非线性模型实验

习题

参考文献

第7章 集成学习

7.1 集成学习理论依据

7.2 集成学习机制

7.3 决策树

7.3.1 什么是决策树

7.3.2 ID3和C4.5

7.3.3 分类回归树

7.3.4 剪枝

7.4 随机森林

7.5 自适应助推

7.5.1 学习过程

7.5.2 基本原理

7.6 小结与拓展

实验七：集成学习实验

习题

参考文献

第8章 聚类

8.1 聚类基本理论

8.1.1 聚类的性质

8.1.2 相似性测度

8.1.3 类簇中心

8.1.4 聚类算法评价指标

8.2 K均值聚类

8.3 层次聚类

8.3.1 凝聚筑巢

8.3.2 平衡迭代削减层次聚类

8.4 密度聚类

8.4.1 DBSCAN

8.4.2 高斯混合聚类

8.5 小结与拓展

实验八：聚类实验

习题

参考文献

第9章 概率图模型

9.1 联合概率

9.2 概率有向图模型

9.2.1 基本概念

9.2.2 有向分离

9.2.3 贝叶斯网络

9.2.4 隐马尔可夫模型

9.3 概率无向图模型

9.3.1 条件独立性

9.3.2 团和势函数

9.3.3 条件随机场

9.3.4 马尔可夫随机场在图像处理中的应用

9.3.5 条件随机场在自然语言处理中的应用

9.4 因子图与和积算法

9.4.1 因子图

9.4.2 置信传播

9.5 小结与拓展

实验九：概率图模型实验

习题

参考文献

第10章 人工神经网络

10.1 神经元及其基本模型

10.2 激活函数

10.2.1 饱和激活函数

10.2.2 校正线性单元

10.2.3 swish激活函数

10.2.4 其他激活函数

10.3 感知机

10.3.1 参数学习

10.3.2 感知机的异或难题

10.4 前馈神经网络

10.4.1 前馈神经网络模型

10.4.2 三层前向神经网络实现异或门

10.4.3 反向传播算法

10.5 卷积神经网络

10.5.1 互相关和卷积

10.5.2 卷积神经网络架构

10.5.3 卷积神经网络残差反向传播

10.6 简单卷积神经网络

10.6.1 LeNet-5

10.6.2 AlexNet

10.6.3 VGGNet

10.6.4 Inception

10.6.5 ResNet

10.7 小结与拓展

实验十：人工神经网络实验

习题

参考文献

第11章 强化学习

11.1 强化学习概述

11.1.1 基本概念

11.1.2 策略评估和策略控制

11.1.3 强化学习分类

11.2 表格强化学习

11.2.1 蒙特卡洛

11.2.2 动态规划

11.2.3 时序差分学习

11.3 深度强化学习

11.3.1 深度Q网络（DQN）

11.3.2 Dueling网络

11.4 小结与拓展

实验十一：强化学习实验

习题

参考文献