机器学习:公式推导与代码实现电子书

前言

第一部分 入门篇

第 1 章 机器学习预备知识

1.1 引言

1.2 关键术语与任务类型

1.3 机器学习三要素

1.4 机器学习核心

1.5 机器学习流程

1.6 NumPy必学必会

1.6.1 创建数组

1.6.2 数组的索引与切片

1.6.3 数组的基础运算

1.6.4 数组维度变换

1.6.5 数组合并与切分

1.7 sklearn简介

1.8 章节安排

1.9 小结

第二部分 监督学习单模型

第 2 章 线性回归

2.1 杭州的二手房房价

2.2 线性回归的原理推导

2.3 线性回归的代码实现

2.3.1 编写思路

2.3.2 基于NumPy的代码实现

2.3.3 基于sklearn的模型实现

2.4 小结

第 3 章 对数几率回归

3.1 App开屏广告

3.2 对数几率回归的原理推导

3.3 对数几率回归的代码实现

3.3.1 编写思路

3.3.2 基于NumPy的对数几率回归实现

3.3.3 基于sklearn的对数几率回归实现

3.4 小结

第 4 章 回归模型拓展

4.1 回到杭州二手房房价

4.2 LASSO回归原理推导

4.3 LASSO回归的代码实现

4.3.1 编写思路

4.3.2 基于NumPy的LASSO回归实现

4.3.3 基于sklearn的LASSO回归实现

4.4 Ridge回归的原理推导

4.5 Ridge回归的代码实现

4.6 小结

第 5 章 线性判别分析

5.1 LDA基本思想

5.2 LDA数学推导

5.3 LDA算法实现

5.3.1 基于NumPy的LDA算法实现

5.3.2 基于sklearn的LDA算法实现

5.4 小结

第 6 章 近邻算法

6.1 “猜你喜欢”的推荐逻辑

6.2 距离度量方式

6.3 近邻算法的基本原理

6.4 近邻算法的代码实现

6.4.1 编写思路

6.4.2 基于NumPy的近邻算法实现1

6.4.3 基于sklearn的近邻算法实现

6.5 小结

第 7 章 决策树

7.1 “今天是否要打高尔夫”

7.2 决策树

7.3 特征选择：从信息增益到基尼指数

7.3.1 什么是特征选择

7.3.2 信息增益

7.3.3 信息增益比

7.3.4 基尼指数

7.4 决策树模型：从ID3到CART

7.4.1 ID3

7.4.2 C4.5

7.4.3 CART分类树

7.4.4 CART回归树

7.4.5 CART算法实现

7.5 决策树剪枝

7.6 小结

第 8 章 神经网络

8.1 无处不在的图像识别

8.2 从感知机说起

8.2.1 感知机推导

8.2.2 基于NumPy的感知机实现

8.3 从单层到多层

8.3.1 神经网络与反向传播

8.3.2 基于NumPy的神经网络搭建

8.4 神经网络的广阔天地

8.5 小结

第 9 章 支持向量机

9.1 重新从感知机出发

9.2 线性可分支持向量机

9.2.1 线性可分支持向量机的原理推导

9.2.2 线性可分支持向量机的算法实现

9.3 近似线性可分支持向量机

9.3.1 近似线性可分支持向量机的原理推导

9.3.2 近似线性可分支持向量机的算法实现

9.4 线性不可分支持向量机

9.4.1 线性不可分与核技巧

9.4.2 SMO算法

9.4.3 线性不可分支持向量机的算法实现

9.5 小结

第三部分 监督学习集成模型

第 10 章 AdaBoost

10.1 什么是Boosting

10.2 AdaBoost算法的原理推导

10.2.1 AdaBoost基本原理

10.2.2 AdaBoost与前向分步算法

10.3 AdaBoost算法实现

10.3.1 基于NumPy的AdaBoost算法实现

10.3.2 基于sklearn的AdaBoost算法实现

10.4 小结

第 11 章 GBDT

11.1 从提升树到梯度提升树

11.2 GBDT算法的原理推导

11.3 GBDT算法实现

11.3.1 从零开始实现一个GBDT算法系统

11.3.2 基于sklearn的GBDT实现

11.4 小结

第 12 章 XGBoost

12.1 XGBoost：极度梯度提升树

12.2 XGBoost算法的原理推导

12.3 XGBoost算法实现

12.3.1 XGBoost实现：基于GBDT的改进

12.3.2 原生库XGBoost示例

12.4 小结

第 13 章 LightGBM

13.1 XGBoost可优化的地方

13.2 LightGBM基本原理

13.2.1 直方图算法

13.2.2 单边梯度抽样

13.2.3 互斥特征捆绑算法

13.2.4 leaf-wise生长策略

13.3 LightGBM算法实现

13.4 小结

第 14 章 CatBoost

14.1 机器学习中类别特征的处理方法

14.2 CatBoost理论基础

14.2.1 目标变量统计

14.2.2 特征组合

14.2.3 排序提升算法

14.3 CatBoost算法实现

14.4 小结

第 15 章 随机森林

15.1 Bagging：另一种集成学习框架

15.2 随机森林的基本原理

15.3 随机森林的算法实现

15.3.1 基于NumPy的随机森林算法实现

15.3.2 基于sklearn的随机森林算法实现

15.4 小结

第 16 章 集成学习：对比与调参

16.1 三大Boosting算法对比

16.2 常用的超参数调优方法

16.2.1 网格搜索法

16.2.2 随机搜索

16.2.3 贝叶斯调参

16.3 小结

第四部分 无监督学习模型

第 17 章 聚类分析与k 均值聚类算法

17.1 距离度量和相似度度量方式

17.2 聚类算法一览

17.3 k 均值聚类算法的原理推导

17.4 k 均值聚类算法实现

17.4.1 基于NumPy的k 均值聚类算法实现

17.4.2 基于sklearn的k 均值聚类算法实现

17.5 小结

第 18 章 主成分分析

18.1 PCA原理推导

18.2 PCA算法实现

18.2.1 基于NumPy的PCA算法实现

18.2.2 基于sklearn的PCA算法实现

18.3 小结

第 19 章 奇异值分解

19.1 特征向量与矩阵分解

19.2 SVD算法的原理推导

19.3 SVD算法实现与应用

19.3.1 SVD算法实现

19.3.2 基于SVD的图像去噪

19.4 小结

第五部分 概率模型

第 20 章 最大信息熵模型

20.1 最大信息熵原理

20.2 最大信息熵模型的推导

20.3 小结

第 21 章 贝叶斯概率模型

21.1 贝叶斯定理简介

21.2 朴素贝叶斯

21.2.1 朴素贝叶斯的原理推导

21.2.2 基于NumPy的朴素贝叶斯实现

21.2.3 基于sklearn的朴素贝叶斯实现

21.3 贝叶斯网络

21.3.1 贝叶斯网络的原理推导

21.3.2 借助于pgmpy的贝叶斯网络实现

21.4 小结

第 22 章 EM算法

22.1 极大似然估计

22.2 EM算法的原理推导

22.3 EM算法实现

22.4 小结

第 23 章 隐马尔可夫模型

23.1 什么是概率图模型

23.2 HMM的定义与相关概念

23.3 HMM的三个经典问题

23.3.1 概率计算问题与前向/后向算法

23.3.2 参数估计问题与Baum-Welch算法

23.3.3 序列标注问题与维特比算法

23.4 小结

第 24 章 条件随机场

24.1 从生活画像到词性标注问题

24.2 概率无向图

24.3 CRF的定义与形式

24.4 CRF的三大问题

24.4.1 CRF的概率计算问题

24.4.2 CRF的参数估计问题

24.4.3 CRF的序列标注问题

24.4.4 基于sklearn_crfsuite的CRF代码实现

24.5 小结

第 25 章 马尔可夫链蒙特卡洛方法

25.1 前置知识与相关概念

25.1.1 马尔可夫链

25.1.2 蒙特卡洛算法

25.2 MCMC的原理推导

25.2.1 MCMC采样

25.2.2 Metropolis-Hasting采样算法

25.2.3 Gibbs采样算法

25.3 MCMC与贝叶斯推断

25.4 小结

第六部分 总结

第 26 章 机器学习模型总结

26.1 机器学习模型的归纳与分类

26.1.1 单模型与集成模型

26.1.2 监督模型与无监督模型

26.1.3 生成式模型与判别式模型

26.1.4 概率模型与非概率模型

26.2 本书的不足和未来展望

参考文献

看完了