推荐系统技术原理与实践电子书

内容提要

前 言

资源与支持

第1章 推荐系统简介

1.1 什么是推荐系统

1.2 推荐系统的作用和意义

1.3 推荐系统的技术架构

1.4 推荐系统的召回阶段

1.5 推荐系统的粗排阶段

1.6 推荐系统的精排阶段

1.7 推荐系统的重排阶段

1.8 小结

第2章 推荐系统算法基础

2.1 LR——应用极广的机器学习模型

2.1.1 LR的数学原理

2.1.2 LR的训练方法

2.1.3 LR的训练优化

2.1.4 LR的优势和局限性

2.2 MLP——极简单的深度学习模型

2.2.1 MLP的模型结构

2.2.2 MLP的训练方法

2.2.3 MLP的优势和局限性

2.3 机器学习常用的优化算法

2.3.1 随机梯度下降法

2.3.2 小批量随机梯度下降法

2.3.3 FTRL在线学习算法

2.4 深度学习常用的优化算法

2.4.1 深度学习的优化挑战

2.4.2 AdaGrad算法

2.4.3 RMSProp算法

2.4.4 AdaDelta算法

2.4.5 Adam算法

2.5 深度学习常用的激活函数

2.5.1 引入激活函数的目的

2.5.2 sigmoid激活函数

2.5.3 ReLU激活函数

2.5.4 Leaky ReLU激活函数

2.5.5 PReLU激活函数

2.5.6 阿里巴巴的Dice激活函数

2.5.7 RReLU激活函数

2.6 欠拟合和过拟合

2.6.1 欠拟合和过拟合的原因与解决方案

2.6.2 处理欠拟合的特定技术

2.6.3 处理过拟合的特定技术

2.7 深度学习中模型参数的初始化

2.7.1 权重和超参数的初始化

2.7.2 权重初始化案例——连续点击概率模型

2.8 小结

第3章 召回技术演进

3.1 召回层的作用和意义

3.2 召回模型的演进

3.3 传统召回算法

3.3.1 基于协同过滤的召回算法

3.3.2 基于矩阵分解的召回算法

3.3.3 传统召回算法小结

3.4 Embedding模型化召回的基本框架

3.4.1 Embedding的产生

3.4.2 Embedding的发展

3.4.3 基于Embedding的召回框架

3.5 基于内容语义的i2i召回

3.5.1 物品Embedding生成

3.5.2 Word2vec——经典的词向量方法

3.5.3 FastText——字符级别n-gram方法

3.5.4 BERT——动态词向量方法

3.5.5 语言模型扩展为序列模型

3.5.6 内容语义召回小结

3.6 基于Graph Embedding的i2i召回

3.6.1 DeepWalk——随机游走图表征

3.6.2 EGES——阿里巴巴的Graph Embedding方法

3.6.3 Node2vec——优化图结构的Graph Embedding方法

3.6.4 GCN——基于谱域的图神经网络

3.6.5 GraphSAGE——基于空间域的图神经网络

3.6.6 Graph Embedding小结

3.7 基于深度学习的u2i召回

3.7.1 DSSM——经典的双塔模型

3.7.2 YouTube的深度学习召回算法

3.7.3 基于用户长短兴趣的Embedding召回

3.7.4 深度学习u2i召回小结

3.8 小结

第4章 粗排技术演进

4.1 粗排的发展

4.2 粗排的前深度学习时代

4.3 粗排的深度学习时代

4.3.1 向量内积模型

4.3.2 向量版WDL模型——向量内积模型的改进

4.4 粗排的最新进展

4.4.1 阿里巴巴的粗排模型COLD

4.4.2 知识蒸馏

4.5 粗排的未来展望

4.6 小结

第5章 精排技术演进

5.1 精排模型的演化关系

5.2 传统机器学习推荐模型

5.2.1 FM模型——稀疏数据下的特征交叉

5.2.2 FFM——特征域感知FM模型

5.2.3 GBDT+LR——Facebook的特征交叉模型

5.2.4 MLR——阿里巴巴的经典CTR预估模型

5.3 精排的深度学习时代

5.3.1 WDL——谷歌的经典CTR预估模型

5.3.2 DCN——深度交叉网络

5.3.3 DCN-v2——谷歌的改进版DCN模型

5.3.4 DIN——基于注意力机制的用户动态兴趣表达

5.3.5 DIEN——使用序列模型对用户兴趣建模

5.3.6 BST——使用Transformer对用户行为序列建模

5.3.7 DSIN——基于会话的兴趣演化模型

5.3.8 MIMN——多通道用户兴趣网络

5.3.9 SIM——基于搜索的超长用户行为序列建模

5.3.10 CAN——特征交叉新路线

5.4 小结

第6章 重排技术演进

6.1 重排的作用

6.2 基于规则的多样性重排

6.3 基于行列式点过程的重排

6.4 深度学习在重排中的应用

6.5 强化学习在重排中的应用

6.6 小结

第7章 多目标排序在推荐系统中的应用

7.1 推荐系统的优化目标

7.2 多目标排序模型的演化关系

7.3 通过样本权重进行多目标优化

7.4 多目标排序模型

7.4.1 共享底层参数的多塔结构

7.4.2 MOE——替换共享底层参数的门控网络

7.4.3 MMOE——改进MOE的多门混合专家系统

7.4.4 PLE——改进MMOE解决“跷跷板”现象

7.4.5 ESMM——根据目标依赖关系建模

7.4.6 ESM2——改进ESMM解决数据稀疏性问题

7.4.7 DBMTL——用贝叶斯网络对目标依赖关系建模

7.5 多目标融合优化

7.5.1 基于UWL联合概率分布的多目标融合

7.5.2 帕累托多目标融合

7.6 多目标模型训练方式

7.6.1 联合训练

7.6.2 交替训练

7.7 小结

第8章 推荐系统的前沿实践

8.1 推荐系统的应用场景

8.2 推荐系统的公平性问题

8.2.1 公平性策略——消除位置偏置和资源曝光偏置

8.2.2 YouTube消除位置偏置实践

8.2.3 华为消除位置偏置实践——PAL模型

8.2.4 360消除用户组偏差实践——语料采样

8.2.5 360多场景融合实践——偏置建模消除用户组偏差

8.2.6 360实践——PID建模消除资源曝光偏置

8.3 多场景融合实践

8.3.1 360多场景融合实践——将场景信息作为特征加入模型

8.3.2 360多场景融合实践——多塔结构学习各个场景

8.3.3 阿里巴巴多场景融合实践——STAR模型多场景融合

8.4 知识蒸馏在推荐系统中的应用

8.4.1 知识蒸馏的背景

8.4.2 阿里巴巴广告知识蒸馏实践

8.4.3 阿里巴巴淘宝推荐知识蒸馏实践

8.4.4 爱奇艺知识蒸馏实践

8.5 推荐系统的冷启动问题

8.5.1 基于规则的冷启动过程

8.5.2 引入辅助信息优化Embedding冷启动

8.5.3 元学习优化Embedding冷启动

8.6 深度学习模型的特征选择

8.6.1 基于L2的特征选择

8.6.2 基于SE Block的特征选择

8.7 推荐系统的其他问题

8.7.1 基于Look-alike解决推荐系统长尾问题

8.7.2 正负样本不平衡实践——Focal loss

8.7.3 深度学习推荐系统的预训练实践

8.8 小结