现代决策树模型及其编程实践:从传统决策树到深度决策树电子书

作者简介

赞誉

推荐序一

推荐序二

推荐序三

前言

第1章 决策树与人工智能

1.1 决策与智能

1.2 决策树算法的起源

1.3 决策树的核心术语

1.4 决策树的可解释性

1.5 作为决策分析工具的决策树

1.5.1 决策分析

1.5.2 基于决策分析流程的决策树

1.6 作为机器学习算法的决策树

1.6.1 机器学习算法的类型

1.6.2 基于数据的决策树

1.6.3 决策树算法面临的基本问题

1.6.4 基于规则的机器学习

1.7 作为特征学习与决策融合的决策树

1.8 参考文献

第2章 经典决策树算法

2.1 经典决策树应用的一般流程

2.1.1 缺失值的处理

2.1.2 连续数值属性的离散化处理

2.2 CART算法

2.2.1 基尼不纯度、基尼增益与基尼指数

2.2.2 CART分类决策树的原理

2.2.3 CART分类决策树的编程实践

2.2.4 回归问题与回归算法

2.2.5 CART回归决策树的特征和分割点选择准则

2.2.6 CART回归决策树的原理

2.2.7 CART回归决策树的编程实践

2.3 ID3算法

2.3.1 信息熵与信息增益

2.3.2 ID3算法示例

2.3.3 ID3算法的编程实践

2.4 C4.5算法

2.4.1 信息增益率

2.4.2 连续属性的处理

2.4.3 缺失值的处理

2.4.4 基于C4.5算法处理连续属性生成分类决策树的示例

2.4.5 C4.5算法的后续改进——C5.0算法

2.5 决策树的评估

2.6 决策树的5种可视化方法

2.7 小结

2.8 参考文献

第3章 决策树的剪枝

3.1 代价复杂度剪枝

3.1.1 CCP算法的基本原理

3.1.2 CCP算法的编程实践

3.1.3 基于sklearn的CCP示例

3.2 错误率降低剪枝

3.2.1 REP算法的基本原理

3.2.2 REP算法的编程实践

3.3 悲观错误剪枝

3.3.1 PEP算法的基本原理

3.3.2 PEP算法的编程实践

3.4 最小错误剪枝

3.4.1 MEP算法的基本原理

3.4.2 MEP算法的编程实践

3.5 其他决策树剪枝算法简介

3.6 小结

3.7 参考文献

第4章 随机森林

4.1 随机森林的基本原理

4.1.1 构造随机森林的步骤

4.1.2 随机森林的简单示例

4.1.3 基于sklearn的随机森林编程示例

4.1.4 选择最优的随机特征属性数量

4.2 套袋法

4.2.1 套袋法的算法流程

4.2.2 套袋法的偏差和方差

4.2.3 套袋法的优缺点

4.3 随机森林的参数设置与调优

4.3.1 sklearn随机森林的参数

4.3.2 调参示例

4.3.3 OOB错误率与交叉验证

4.4 随机森林的优缺点

4.5 使用随机森林进行特征属性的重要性区分的示例

4.5.1 基于基尼指数的特征属性重要性评估

4.5.2 基于袋外数据错误率的特征属性重要性评估

4.6 使用随机森林进行无监督聚类的示例

4.7 使用随机森林进行回归分析的示例

4.8 随机森林与核方法的结合

4.9 小结

4.10 参考文献

第5章 集成学习方法

5.1 提升法

5.1.1 AdaBoost算法原理

5.1.2 AdaBoost算法实现

5.1.3 AdaBoost算法的编程实践——基于sklearn解决分类问题

5.1.4 AdaBoost算法的编程实践——基于sklearn解决回归问题

5.1.5 提升法的分类、优点和挑战

5.2 梯度提升法

5.2.1 梯度提升法的原理和示例

5.2.2 梯度提升决策树

5.2.3 梯度提升分类决策树

5.2.4 梯度提升回归决策树

5.2.5 随机梯度提升树

5.2.6 基于梯度提升法的机器学习库

5.3 堆叠法

5.3.1 简单的二阶段堆叠算法

5.3.2 基于K折交叉验证的二阶段堆叠法

5.3.3 基于sklearn的K折交叉验证的二阶段堆叠法的编程实践

5.3.4 多阶段堆叠模型

5.4 套袋法、提升法、堆叠法的比较

5.5 小结

5.6 参考文献

第6章 并行决策树

6.1 随机森林的并行化

6.2 XGBoost基础

6.2.1 XGBoost核心原理

6.2.2 XGBoost系统设计及其并行化加速

6.2.3 XGBoost编程基础

6.2.4 XGBoost回归问题编程

6.2.5 XGBoost分类问题编程

6.2.6 XGBoost随机森林编程

6.2.7 XGBoost特征筛选编程

6.2.8 XGBoost与传统提升树的比较

6.2.9 XGBoost的缺点

6.3 LightGBM基础

6.3.1 LightGBM核心原理

6.3.2 LightGBM系统设计及其并行化加速

6.3.3 LigthGBM编程基础

6.3.4 LightGBM与sklearn结合的示例

6.3.5 LightGBM回归问题编程

6.3.6 LightGBM分类问题编程

6.3.7 LightGBM的优缺点

6.4 CatBoost基础

6.4.1 CatBoost核心原理

6.4.2 CatBoost系统设计及其并行化加速

6.4.3 CatBoost编程基础

6.4.4 CatBoost分类问题编程（不带分类特征属性）

6.4.5 CatBoost回归问题编程（不带分类特征属性）

6.4.6 CatBoost回归问题编程（带分类特征属性）

6.4.7 CatBoost的优缺点

6.4.8 XGBoost、LightGBM、CatBoost的比较

6.5 NGBoost简介

6.6 小结

6.7 参考文献

第7章 蚁群决策树

7.1 蚁群元启发式算法

7.1.1 典型蚁群算法

7.1.2 MMAS算法

7.1.3 ACS算法

7.2 基于蚁群的分类规则提取

7.2.1 Ant-Miner规则提取方法

7.2.2 Ant-Miner算法实现

7.2.3 Ant-Miner算法的早期变种

7.2.4 MYRA——开源实现

7.2.5 Ant-MinerMA+G算法

7.2.6 AMclr算法

7.3 蚁群决策树的算法原理

7.3.1 Ant-Tree-Miner决策树生成算法

7.3.2 ACDT算法

7.4 自适应蚁群决策森林

7.4.1 自适应ACDF算法

7.4.2 ACDF算法中的长期提升

7.5 小结

7.6 参考文献

第8章 深度决策树

8.1 深度森林

8.1.1 gcForest的基本原理

8.1.2 gcForest的编程实践

8.1.3 DF21开源库

8.1.4 改进的深度森林模型

8.2 深度神经决策树

8.2.1 DNDT的基本原理

8.2.2 DNDT的编程实践

8.3 自适应神经决策树

8.3.1 ANT的基本原理

8.3.2 ANT的编程实践

8.4 神经支持决策树

8.4.1 NBDT的基本原理

8.4.2 NBDT的编程实践

8.5 深度神经决策森林

8.5.1 dNDF的基本原理

8.5.2 dNDF模型的优缺点

8.5.3 dNDF的编程实践

8.6 小结

8.7 参考文献