检索匹配:深度学习在搜索、广告、推荐系统中的应用电子书

作者简介

版权页

前言

第1部分 理论准备

第1章 深度学习时代

1.1 深度学习的飞速发展

1.2 深度学习在互联网的应用

1.2.1 搜索

1.2.2 推荐

1.2.3 广告

1.2.4 通用检索流程

1.3 深度学习模型分类

1.4 模型服务中台

1.5 分布式机器学习

1.6 深度学习软件框架

1.7 小结

第2章 深度学习简介

2.1 生物神经网络

2.2 人工神经网络

2.3 业务问题建模

2.4 DNN的拟合能力

2.5 DNN的学习方式

2.6 CNN与RNN

2.7 小结

第2部分 设计与实现

第3章 标签拼接

3.1 时间窗口

3.2 延迟反馈

3.3 样本集介绍

3.3.1 原始样本

3.3.2 广告基本信息表

3.3.3 用户基本信息表

3.3.4 用户的行为日志

3.4 小结

第4章 特征处理

4.1 特征分类

4.2 特征体系

4.3 原始特征拼接

4.3.1 拼接方法

4.3.2 数据集特征拼接

4.3.3 代码

4.4 明文特征抽取

4.4.1 特征抽取算子

4.4.2 特征抽取示例

4.5 特征ID化

4.5.1 特征词表生成

4.5.2 ID化示例

4.6 代码说明

4.7 小结

第5章 模型构建

5.1 DNN求解

5.1.1 数学规划

5.1.2 DNN方法

5.2 模型层

5.2.1 输入层

5.2.2 神经网络层

5.2.3 激活函数层

5.3 模型结构

5.3.1 DLRM模型

5.3.2 模型搭建

5.4 损失函数

5.4.1 MSE损失函数

5.4.2 Cross Entropy损失函数

5.5 优化器

5.5.1 SGD

5.5.2 Momentum

5.5.3 Nesterov

5.5.4 AdaGrad

5.5.5 Adam

5.5.6 扩展

5.6 小结

第6章 模型训练与预测

6.1 模型评估

6.2 模型训练

6.2.1 模型训练流程

6.2.2 模型训练技巧

6.3 模型预测

6.4 训练效果示例

6.5 模型优化

6.6 GPU应用

6.7 小结

第3部分 高级深度学习模型

第7章 检索算法理论

7.1 检索算法抽象

7.2 有表示匹配

7.2.1 标签表示

7.2.2 分布式表示

7.3 无表示匹配

7.4 内容理解

7.4.1 自然语言处理

7.4.2 计算机视觉

7.4.3 一点思考

7.5 用户理解

7.6 小结

第8章 检索算法演进

8.1 前深度学习时代

8.1.1 LR

8.1.2 决策树

8.1.3 协同过滤

8.1.4 MF

8.1.5 算法应用

8.2 深度学习时代

8.2.1 精排模型演进

8.2.2 粗排模型演进

8.2.3 召回模型演进

8.3 小结

第9章 DSSM理论与实现

9.1 DSSM模型

9.2 DSSM实现

9.3 线上预测

9.4 ANN检索

9.4.1 基于树的方法

9.4.2 基于Hash的方法

9.4.3 基于图的方法

9.4.4 ANN检索效率比较

9.5 训练效果

9.6 模型优化

9.7 小结

第4部分 分布式机器学习

第10章 计算机系统

10.1 单机系统

10.1.1 单机系统物理模型

10.1.2 单机系统程序编程

10.2 分布式系统

10.2.1 分布式计算

10.2.2 分布式存储

10.2.3 分布式协同通信

10.2.4 CAP理论

10.2.5 一点思考

10.3 分布式系统示例

10.4 分布式编程示例

10.5 小结

第11章 分布式机器学习设计与实现

11.1 机器学习应用系统设计

11.2 分布式机器学习设计

11.2.1 并行方式

11.2.2 节点协作方式

11.2.3 模型更新方式

11.3 常用的分布式学习框架

11.4 PS Lite介绍

11.4.1 代码架构

11.4.2 工作流程

11.5 分布式训练实现

11.5.1 架构设计

11.5.2 代码实现

11.5.3 程序运行

11.5.4 模型保存与加载

11.5.5 效果评估

11.6 小结

结语

附录

附录A 辅助学习资料