机器学习中的数学修炼电子书

封面页

书名页

版权页

内容简介

前言

目录

第1章　概率论基础

1.1　概率论的基本概念

1.2　随机变量数字特征

1.2.1　期望

1.2.2　方差

1.2.3　矩与矩母函数

1.2.4　协方差与协方差矩阵

1.3　基本概率分布模型

1.3.1　离散概率分布

1.3.2　连续概率分布

1.3.3　在R语言中使用内嵌分布

1.4　概率论中的重要定理

1.4.1　大数定理

1.4.2　中心极限定理

1.5　经验分布函数

第2章　最优化基础

2.1　泰勒公式

2.2　黑塞矩阵

2.3　凸函数与詹森不等式

2.3.1　凸函数的概念

2.3.2　詹森不等式及其证明

2.3.3　詹森不等式的应用

2.4　泛函与抽象空间

2.4.1　线性空间

2.4.2　距离空间

2.4.3　赋范空间

2.4.4　巴拿赫空间

2.4.5　内积空间

2.4.6　希尔伯特空间

2.5　从泛函到变分法

2.5.1　理解泛函的概念

2.5.2　关于变分概念

2.5.3　变分法的基本方程

2.5.4　哈密顿原理

2.5.5　等式约束下的变分

第3章　统计推断

3.1　随机采样

3.2　参数估计

3.2.1　参数估计的基本原理

3.2.2　单总体参数区间估计

3.2.3　双总体均值差的估计

3.2.4　双总体比例差的估计

3.3　假设检验

3.3.1　基本概念

3.3.2　两类错误

3.3.3　均值检验

3.4　最大似然估计

3.4.1　最大似然法的基本原理

3.4.2　求最大似然估计的方法

3.4.3　最大似然估计应用举例

第4章　采样方法

4.1　蒙特卡洛法求定积分

4.1.1　无意识统计学家法则

4.1.2　投点法

4.1.3　期望法

4.2　蒙特卡洛采样

4.2.1　逆采样

4.2.2　博克斯-穆勒变换

4.2.3　拒绝采样与自适应拒绝采样

4.3　矩阵的极限与马尔可夫链

4.4　查普曼-柯尔莫哥洛夫等式

4.5　马尔可夫链蒙特卡洛方法

4.5.1　重要性采样

4.5.2　马尔可夫链蒙特卡洛方法的基本概念

4.5.3　米特罗波利斯-黑斯廷斯算法

4.5.4　吉布斯采样

第5章　一元线性回归

5.1　回归分析的性质

5.2　回归的基本概念

5.2.1　总体的回归函数

5.2.2　随机干扰的意义

5.2.3　样本的回归函数

5.3　回归模型的估计

5.3.1　普通最小二乘法原理

5.3.2　一元线性回归的应用

5.3.3　经典模型的基本假定

5.3.4　总体方差的无偏估计

5.3.5　估计参数的概率分布

5.4　正态条件下的模型检验

5.4.1　拟合优度的检验

5.4.2　整体性假定检验

5.4.3　单个参数的检验

5.5　一元线性回归模型预测

5.5.1　点预测

5.5.2　区间预测

第6章　多元线性回归

6.1　多元线性回归模型

6.2　多元回归模型估计

6.2.1　最小二乘估计量

6.2.2　多元回归实例

6.2.3　总体参数估计量

6.3　从线性代数角度理解最小二乘

6.3.1　最小二乘问题的通解

6.3.2　最小二乘问题的计算

6.4　多元回归模型检验

6.4.1　线性回归的显著性

6.4.2　回归系数的显著性

6.5　多元线性回归模型预测

6.6　格兰杰因果关系检验

第7章　线性回归进阶

7.1　更多回归模型函数形式

7.1.1　双对数模型以及生产函数

7.1.2　倒数模型与菲利普斯曲线

7.1.3　多项式回归模型及其分析

7.2　回归模型的评估与选择

7.2.1　嵌套模型选择

7.2.2　赤池信息准则

7.2.3　逐步回归方法

7.3　现代回归方法的新进展

7.3.1　多重共线性

7.3.2　岭回归

7.3.3　从岭回归到LASSO

7.3.4　正则化

第8章　逻辑回归与最大熵模型

8.1　逻辑回归

8.2　牛顿法解Logistic回归

8.3　多元逻辑回归

8.4　最大熵模型

8.4.1　最大熵原理

8.4.2　约束条件

8.4.3　模型推导

8.4.4　最大熵模型的最大似然估计

第9章　聚类分析

9.1　聚类的概念

9.2　k均值算法

9.2.1　距离度量

9.2.2　算法描述

9.2.3　应用实例

9.3　最大期望算法

9.3.1　算法原理

9.3.2　收敛探讨

9.4　高斯混合模型

9.4.1　模型推导

9.4.2　应用实例

9.5　密度聚类与DBSCAN算法

第10章　支持向量机

10.1　线性可分的支持向量机

10.1.1　函数距离与几何距离

10.1.2　最大间隔分类器

10.1.3　拉格朗日乘数法

10.1.4　对偶问题的求解

10.2　松弛因子与软间隔模型

10.3　非线性支持向量机方法

10.3.1　从更高维度上分类

10.3.2　非线性核函数方法

10.3.3　机器学习中的核方法

10.3.4　默瑟定理

10.4　对数据进行分类的实践

10.4.1　基本建模函数

10.4.2　分析建模结果

第11章　贝叶斯推断与概率图模型

11.1　贝叶斯公式与边缘分布

11.2　贝叶斯推断中的重要概念

11.2.1　先验概率与后验概率

11.2.2　共轭分布

11.3　朴素贝叶斯分类器

11.4　贝叶斯网络

11.4.1　基本结构单元

11.4.2　模型推理

11.5　贝叶斯推断的应用示例

11.6　隐马尔可夫模型

11.6.1　随机过程

11.6.2　从时间角度考虑不确定性

11.6.3　前向算法

11.6.4　维特比算法

第12章　降维与小流行学习

12.1　主成分分析

12.2　奇异值分解

12.2.1　一个基本的认识

12.2.2　为什么可以做SVD

12.2.3　SVD与PCA的关系

12.2.4　应用示例与矩阵伪逆

12.3　多维标度法

第13章　决策树

13.1　决策树基础

13.1.1　Hunt算法

13.1.2　基尼测度与划分

13.1.3　信息熵与信息增益

13.1.4　分类误差

13.2　决策树进阶

13.2.1　ID3算法

13.2.2　C4.5算法

13.3　分类回归树

13.4　决策树剪枝

13.4.1　没有免费午餐定理

13.4.2　剪枝方法

13.5　分类器的评估

第14章　人工神经网络

14.1　从感知机开始

14.1.1　感知机模型

14.1.2　感知机学习

14.1.3　多层感知机

14.2　基本神经网络

14.2.1　神经网络结构

14.2.2　符号标记说明

14.2.3　后向传播算法

14.3　神经网络实践

14.3.1　核心函数介绍

14.3.2　应用分析实践

第15章　集成学习

15.1　集成学习的理论基础

15.2　Bootstrap方法

15.3　Bagging与随机森林

15.4　Boosting与AdaBoost

附录A　信息论基础

附录B

参考文献