构建企业级推荐系统:算法、工程实现与案例分析电子书

前言

第一篇 推荐系统基础认知

第1章 推荐系统介绍

1.1 推荐系统产生的背景

1.2 推荐系统解决什么问题

1.3 推荐系统的应用领域

1.4 推荐系统的定义

1.5 常用的推荐算法

1.5.1 基于内容的推荐

1.5.2 协同过滤

1.5.3 基于模型的推荐

1.5.4 基于社交关系的推荐

1.6 构建推荐系统的阻碍与挑战

1.7 推荐系统的价值

1.8 本章小结

第二篇 推荐系统基础算法

第2章 推荐算法基础

2.1 推荐系统范式

2.2 推荐算法3阶段pipeline架构

2.3 推荐召回算法

2.3.1 完全非个性化范式

2.3.2 完全个性化范式

2.3.3 群组个性化范式

2.3.4 标的物关联标的物范式

2.3.5 笛卡儿积范式

2.4 排序算法

2.4.1 logistic回归模型

2.4.2 GBDT模型

2.4.3 Wide & Deep模型

2.5 推荐算法落地需要关注的几个问题

2.5.1 推荐算法工程落地一定要用到排序模块吗

2.5.2 推荐算法服务于用户的两种形式

2.5.3 推荐系统评估

2.6 本章小结

第3章 基于内容的推荐算法

3.1 什么是基于内容的推荐算法

3.2 基于内容的推荐算法的实现原理

3.2.1 基于用户和标的物特征为用户推荐的核心思想

3.2.2 构建用户特征表示

3.2.3 构建标的物特征表示

3.2.4 为用户做个性化推荐

3.3 基于内容的推荐算法应用场景

3.4 基于内容的推荐算法的优缺点

3.4.1 优点

3.4.2 缺点

3.5 基于内容的推荐算法落地需要关注的问题

3.5.1 内容来源的获取

3.5.2 怎么利用负向反馈

3.5.3 兴趣随时间变化

3.5.4 数据清洗

3.5.5 加速计算与节省资源

3.5.6 解决基于内容的推荐越推越窄的问题

3.5.7 工程落地技术选型

3.5.8 业务的安全性

3.6 本章小结

第4章 协同过滤推荐算法

4.1 协同过滤思想简介

4.2 协同过滤算法原理介绍

4.2.1 基于用户的协同过滤

4.2.2 基于标的物的协同过滤

4.3 离线协同过滤算法的工程实现

4.3.1 计算topN相似度

4.3.2 为用户生成推荐

4.4 近实时协同过滤算法的工程实现

4.4.1 获取用户在一个时间窗口内的行为

4.4.2 基于用户行为记录更新标的物关联表CR

4.4.3 更新用户的行为记录HBase表：UAction

4.4.4 为用户生成个性化推荐

4.5 协同过滤算法的应用场景

4.5.1 完全个性化推荐

4.5.2 标的物关联标的物推荐

4.5.3 其他应用形式及场景

4.6 协同过滤算法的优缺点

4.6.1 优点

4.6.2 缺点

4.7 协同过滤算法落地到业务场景需要关注的问题

4.7.1 两种协同过滤算法的选择

4.7.2 对时间加权

4.7.3 关于用户对标的物的评分

4.7.4 相似度计算

4.7.5 冷启动问题

4.8 本章小结

第5章 基于朴素ML思想的协同过滤算法

5.1 基于关联规则的推荐算法

5.2 基于朴素贝叶斯的推荐算法

5.3 基于聚类的推荐算法

5.3.1 基于用户聚类的推荐

5.3.2 基于标的物聚类的推荐

5.4 YouTube基于关联规则思路的视频推荐算法

5.4.1 计算两个视频的相似度（关联度）

5.4.2 基于单个种子视频生成候选视频集

5.4.3 基于用户行为为用户生成推荐候选集

5.4.4 推荐结果排序

5.5 Google News基于贝叶斯框架的推荐算法

5.5.1 基于用户过去的行为来分析用户的兴趣点

5.5.2 利用贝叶斯框架来建模用户的兴趣

5.5.3 为用户做个性化推荐

5.6 Google News基于用户聚类的推荐算法

5.6.1 基于MinHash聚类

5.6.2 基于聚类为用户做推荐

5.7 本章小结

第6章 矩阵分解推荐算法

6.1 矩阵分解推荐算法的核心思想

6.2 矩阵分解推荐算法的算法原理

6.3 矩阵分解推荐算法的求解方法

6.3.1 利用SGD来求解矩阵分解

6.3.2 利用ALS来求解矩阵分解

6.4 矩阵分解推荐算法的拓展与优化

6.4.1 整合偏差项

6.4.2 增加更多的用户信息输入

6.4.3 整合时间因素

6.4.4 整合用户对评分的置信度

6.4.5 隐式反馈

6.4.6 整合用户和标的物metadata信息

6.5 近实时矩阵分解算法

6.5.1 算法原理

6.5.2 工程实现

6.6 矩阵分解算法的应用场景

6.6.1 应用于完全个性化推荐场景

6.6.2 应用于标的物关联标的物场景

6.6.3 应用于用户及标的物聚类

6.6.4 应用于群组个性化场景

6.7 矩阵分解算法的优缺点

6.7.1 优点

6.7.2 缺点

6.8 本章小结

第7章 因子分解机

7.1 分解机简单介绍

7.2 分解机参数预估与模型价值

7.2.1 分解机在稀疏场景下的参数估计

7.2.2 分解机的计算复杂度

7.2.3 分解机模型求解

7.2.4 模型预测

7.3 分解机与其他模型的关系

7.3.1 FM与矩阵分解的联系

7.3.2 FM与SVM的联系

7.4 分解机的工程实现

7.5 分解机的拓展

7.5.1 高阶分解机

7.5.2 FFM

7.5.3 DeepFM

7.6 近实时分解机

7.7 分解机在推荐系统上的应用

7.7.1 用户与标的物的交互行为信息

7.7.2 用户相关信息

7.7.3 标的物相关信息

7.7.4 上下文信息

7.8 分解机的优势

7.9 本章小结

第三篇 推荐系统进阶算法

第8章 推荐系统冷启动

8.1 冷启动的概念

8.2 解决冷启动面临的挑战

8.3 解决冷启动的重要性

8.4 解决冷启动的方法和策略

8.4.1 用户冷启动

8.4.2 标的物冷启动

8.4.3 系统冷启动

8.4.4 新的视角看冷启动

8.5 不同推荐产品形态解决冷启动的方案

8.6 设计冷启动需要注意的问题

8.7 冷启动的未来发展趋势

8.8 本章小结

第9章 嵌入方法在推荐系统中的应用

9.1 嵌入方法简介

9.2 嵌入方法应用于推荐系统的一般思路

9.2.1 学习标的物的嵌入表示

9.2.2 同时学习用户和标的物的嵌入表示

9.3 用于推荐系统的嵌入方法的算法原理介绍

9.3.1 基于矩阵分解的嵌入

9.3.2 基于Word2vec的嵌入

9.3.3 基于有向图的嵌入

9.3.4 基于深度神经网络的嵌入

9.4 嵌入方法在推荐系统中的应用案例介绍

9.4.1 利用矩阵分解嵌入做推荐

9.4.2 利用Item2vec获得标的物的嵌入做推荐

9.4.3 阿里盒马的联合嵌入推荐模型

9.4.4 淘宝基于图嵌入的推荐算法

9.4.5 整合标的物多种信息的Content2vec模型

9.5 利用嵌入方法解决冷启动问题

9.5.1 通过ID间的结构连接关系及特征迁移解决冷启动问题

9.5.2 通过图片、文本内容嵌入解决冷启动问题

9.6 本章小结

第10章 深度学习在推荐系统中的应用

10.1 深度学习介绍

10.2 利用深度学习技术构建推荐系统的方法和思路

10.2.1 从推荐系统中使用的深度学习技术角度看

10.2.2 从推荐系统的预测目标角度看

10.2.3 从推荐算法的归类角度看

10.3 工业界几个经典深度学习推荐算法介绍

10.3.1 YouTube的深度学习推荐系统

10.3.2 Google的Wide & Deep深度学习推荐模型

10.3.3 阿里基于兴趣树的深度学习推荐算法

10.3.4 Google的神经网络协同过滤深度学习推荐算法

10.4 开源深度学习框架 & 推荐算法

10.4.1 TensorFlow（Keras）

10.4.2 PyTorch（Caffe）

10.4.3 MxNet

10.4.4 DeepLearning4j

10.4.5 百度的PaddlePaddle

10.4.6 腾讯的Angel

10.4.7 微软开源的推荐算法库recommenders

10.5 深度学习技术应用于推荐系统的优缺点及挑战

10.5.1 优点

10.5.2 缺点与挑战

10.6 深度学习推荐系统工程实施建议

10.6.1 深度学习的效果真的有那么好吗

10.6.2 团队是否适合引入深度学习推荐技术

10.6.3 打通深度学习相关技术栈与团队现有技术栈

10.6.4 从经典成熟的模型与跟公司业务接近的模型着手

10.7 深度学习推荐系统的未来发展

10.7.1 算法模型维度

10.7.2 工程维度

10.7.3 应用场景维度

10.7.4 数据维度

10.7.5 产品呈现与交互维度

10.8 本章小结

第11章 混合推荐系统介绍

11.1 什么是混合推荐系统

11.2 混合推荐系统的价值

11.2.1 冷启动问题

11.2.2 数据稀疏性问题

11.2.3 马太效应

11.2.4 灰羊效应

11.2.5 投资组合效应

11.2.6 稳定性/可塑性问题

11.3 混合推荐系统的实现方案

11.3.1 单体的混合范式

11.3.2 并行的混合范式

11.3.3 流水线混合范式

11.4 工业级推荐系统与混合推荐

11.4.1 实时推荐系统与混合推荐

11.4.2 深度学习等复杂推荐模型整合多数据源和多模型

11.4.3 特殊情况下的处理策略

11.4.4 推荐数量不足的增补

11.4.5 通过混合策略解决用户冷启动

11.5 对混合推荐系统的思考

11.5.1 整合实时推荐中用户的短期和长期兴趣

11.5.2 利用单个复杂模型建模多源信息

11.5.3 多源的标的物混合

11.5.4 家庭场景中多人兴趣的混合推荐

11.5.5 用户在多APP场景下行为的混合

11.5.6 用户多状态（场景）的融合推荐

11.6 本章小结

第12章 构建可解释性推荐系统

12.1 可解释性推荐系统简介

12.1.1 什么是推荐解释

12.1.2 推荐解释的价值

12.1.3 互联网推荐产品的推荐解释模型

12.1.4 推荐解释的形式

12.1.5 推荐解释的现状

12.2 构建可解释性推荐系统的方法

12.2.1 基于用户关系来做推荐解释

12.2.2 基于标的物相似关系来做推荐解释

12.2.3 基于标签来做推荐解释

12.2.4 其他推荐解释方式

12.3 常用工业级推荐产品的推荐解释

12.3.1 完全个性化范式的推荐解释

12.3.2 标的物关联标的物范式的推荐解释

12.3.3 其他推荐范式的推荐解释

12.4 做好推荐解释需要关注的几个问题

12.5 构建可解释性推荐系统面临的挑战与机遇

12.5.1 混合推荐算法让推荐解释更加困难

12.5.2 设计实时个性化推荐解释面临的技术挑战

12.5.3 企业管理者/数据产品经理更关注精准度而不是解释性

12.5.4 黑盒推荐算法很难解释

12.5.5 普适的推荐解释框架

12.5.6 利用知识图谱做解释

12.5.7 生成对话式解释

12.6 本章小结

第四篇 推荐系统评估与价值

第13章 推荐系统的评估

13.1 推荐系统评估的目的

13.2 评估推荐系统的常用指标

13.2.1 用户的维度

13.2.2 平台方的维度

13.2.3 推荐系统自身的维度

13.2.4 标的物提供方的维度

13.3 推荐系统的评估方法

13.3.1 离线评估

13.3.2 在线评估第一阶段

13.3.3 在线评估第二阶段

13.3.4 主观评估

13.4 推荐系统评估需要关注的问题

13.5 本章小结

第14章 推荐系统的商业价值

14.1 为什么要关注推荐系统的商业价值

14.2 衡量推荐系统商业价值的维度

14.2.1 广告变现

14.2.2 电商变现

14.2.3 增值服务变现

14.2.4 用户增长

14.2.5 成本节省及效率提升

14.3 量化推荐系统商业价值的思路和方法

14.3.1 提升广告的曝光与转化

14.3.2 促进标的物提供方（即商家）生态繁荣

14.3.3 促进标的物售卖，获取更多经济收益

14.3.4 提升会员的转化与留存

14.3.5 提升用户留存率、活跃度和停留时长

14.3.6 节省人力成本

14.3.7 提升内容分发效率

14.4 提升推荐系统商业价值需要关注的问题及建议

14.5 本章小结

第五篇 推荐系统工程实现

第15章 推荐系统之数据与特征工程

15.1 推荐算法建模的一般流程

15.2 推荐系统依赖的数据源介绍

15.2.1 根据数据来源来划分

15.2.2 根据数据载体来划分

15.2.3 根据数据组织形式来划分

15.3 数据处理与特征工程简介

15.3.1 数据生成

15.3.2 数据预处理

15.3.3 特征工程

15.4 常用推荐算法之数据与特征工程

15.4.1 排行榜推荐

15.4.2 标的物关联标的物推荐

15.4.3 个性化推荐

15.5 推荐系统数据与特征工程的未来趋势

15.5.1 融合更多的数据源来构建更复杂的推荐模型

15.5.2 深度学习等复杂技术可减少人工特征工程的投入

15.5.3 实时数据处理与实时特征工程

15.5.4 自动化特征工程

15.6 本章小结

第16章 推荐系统的工程实现

16.1 推荐系统与大数据

16.2 推荐系统业务流及核心模块

16.2.1 数据收集模块

16.2.2 ETL模块

16.2.3 特征工程模块

16.2.4 推荐算法模块

16.2.5 推荐结果存储模块

16.2.6 Web服务模块

16.3 推荐系统支撑模块

16.3.1 评估模块

16.3.2 调度模块

16.3.3 监控模块

16.3.4 审查模块

16.4 推荐系统架构设计

16.5 推荐系统工程实现的设计哲学

16.5.1 什么是好的推荐系统工程实现

16.5.2 推荐系统工程实现的原则

16.5.3 怎样设计好的推荐系统工程架构

16.6 近实时个性化推荐

16.7 推荐系统业务落地需要关注的问题

16.8 推荐系统的技术选型

16.9 推荐系统工程的未来发展

16.10 本章小结

第17章 AB测试平台的工程实现

17.1 什么是AB测试

17.2 AB测试的价值

17.3 什么时候需要AB测试

17.4 AB测试的应用场景

17.5 AB测试平台的核心模块

17.5.1 分组模块

17.5.2 实验管理模块

17.5.3 业务接入模块

17.5.4 行为记录分析模块

17.5.5 效果评估模块

17.6 业界流行的AB测试架构实现方案

17.7 推荐系统业务AB测试实现方案

17.8 开发AB测试平台需要的资源及支持

17.9 构建AB测试平台需要关注的重要问题

17.10 本章小结

第18章 构建优质的推荐系统服务

18.1 推荐服务背景介绍

18.2 什么是优质的推荐服务

18.2.1 高性能

18.2.2 高可用

18.2.3 可伸缩

18.2.4 可扩展

18.2.5 安全性

18.3 设计优质的推荐服务面临的挑战

18.3.1 需要存储的数据量大

18.3.2 需要快速及时响应用户请求

18.3.3 接口访问并发量大

18.3.4 业务相对复杂

18.4 构建优质服务的一般原则

18.4.1 模块化

18.4.2 数据存储与数据缓存

18.4.3 负载均衡

18.4.4 异步调用

18.4.5 分布式及去中心化

18.4.6 分层思想

18.5 设计优质推荐服务的可行策略

18.5.1 高性能

18.5.2 高可用

18.5.3 可伸缩

18.5.4 可扩展

18.5.5 安全性

18.6 本章小结

第19章 推荐系统提供Web服务

19.1 什么是推荐系统Web服务

19.2 推荐系统提供Web服务的两种方式

19.2.1 事先计算式Web服务

19.2.2 实时装配式Web服务

19.3 两种Web服务方式的优劣对比

19.3.1 事先计算式Web服务的优缺点

19.3.2 实时装配式Web服务的优缺点

19.4 影响Web服务方式的因素及选择原则

19.4.1 推荐产品形态的时效性对选择推荐Web服务的影响

19.4.2 技术及架构复杂性对选择推荐Web服务的影响

19.4.3 推荐阶段对选择推荐Web服务的影响

19.4.4 算法形态对选择推荐Web服务的影响

19.5 本章小结

第20章 实时个性化推荐

20.1 实时推荐系统背景介绍

20.2 实时推荐系统的价值

20.3 实时推荐系统的应用场景

20.3.1 新闻资讯类

20.3.2 短视频类

20.3.3 婚恋、陌生人社交类

20.3.4 直播类

20.3.5 电商类

20.3.6 音乐、电台类

20.4 实时推荐系统的整体架构

20.4.1 Lambda架构

20.4.2 Kappa架构

20.5 实时推荐系统的技术选型

20.5.1 离线部分算法的技术选型

20.5.2 实时部分算法的技术选型

20.6 实时推荐算法与工程实现

20.7 构建实时推荐系统面临的困难和挑战

20.8 实时推荐系统的未来发展

20.8.1 实时推荐是未来推荐发展的方向

20.8.2 每个人都有望拥有为自己服务的个性化算法

20.8.3 实时推荐应用场景的多样性

20.8.4 实时交互方式趋于多元化

20.9 本章小结

第六篇 推荐系统产品与运营

第21章 推荐系统产品

21.1 推荐产品简介

21.2 推荐产品形态介绍

21.2.1 基于用户维度的推荐

21.2.2 基于标的物维度的推荐

21.2.3 基于用户和标的物交叉维度的推荐

21.3 推荐产品的应用场景

21.4 设计优质推荐产品的要点

21.5 本章小结

第22章 推荐系统的UI交互与视觉展示

22.1 信息获取与推荐系统

22.2 交互设计的基本原则

22.3 推荐系统的UI交互

22.3.1 什么是推荐系统的UI交互

22.3.2 设计好的UI交互的原则

22.3.3 UI交互在推荐系统中的价值

22.4 推荐系统的视觉展示

22.4.1 什么是推荐系统的视觉要素

22.4.2 视觉要素展示的一般原则

22.4.3 视觉要素展示的价值

22.5 关于推荐系统UI交互和视觉展示的展望

22.6 本章小结

第23章 推荐系统与精细化运营

23.1 运营简介

23.2 数据化运营

23.3 精细化运营

23.3.1 精细化运营的概念

23.3.2 精细化运营的特点

23.3.3 为什么说现在进入了精细化运营时代

23.3.4 精细化运营面临的挑战

23.3.5 精细化运营的流程与方法

23.4 用户画像介绍

23.4.1 用户画像的概念

23.4.2 标签的分类

23.4.3 用户画像构建流程

23.4.4 用户画像平台的基础架构

23.4.5 用户画像的应用场景

23.5 推荐系统与精细化运营

23.5.1 推荐系统是精细化运营的最高级形式

23.5.2 推荐系统与精细化运营的区别与联系

23.5.3 利用推荐系统的思路进行精细化运营

23.5.4 利用推荐系统的思路进行精细化运营面临的困境

23.6 本章小结

第24章 推荐系统的人工调控策略

24.1 什么是推荐系统的人工调控

24.2 为什么要进行人工调控

24.2.1 用户体验

24.2.2 安全性

24.2.3 商业价值

24.2.4 运营需要

24.2.5 降低人力成本

24.3 怎样进行人工调控

24.3.1 数据层面的人工调控

24.3.2 特征层面的人工调控

24.3.3 模型层面的人工调控

24.3.4 结果层面的人工调控

24.3.5 展示层面的人工调控

24.3.6 效果层面的人工调控

24.4 怎样评估人工调控的价值

24.5 人工调控面临的挑战

24.5.1 知识层面的脱节，沟通不畅

24.5.2 很难精确评估对推荐系统的影响范围

24.5.3 为运营人员提供方便操控的界面是关键

24.6 人与机器的有效协作

24.7 本章小结

第七篇 推荐系统案例分析

第25章 从零开始构建企业级推荐系统

25.1 Why：你的产品为什么需要推荐系统

25.2 Who：让谁来搭建推荐系统

25.2.1 自建推荐系统

25.2.2 通过外包构建推荐系统

25.2.3 购买推荐系统云服务

25.3 When：在产品的什么阶段搭建推荐系统

25.4 What、Where：搭建什么样的推荐系统

25.5 How：怎样搭建推荐系统

25.5.1 产品起步阶段的推荐

25.5.2 产品成长阶段的推荐

25.6 How much：关于构建推荐系统的资源投入

25.6.1 人力投入

25.6.2 计算资源投入

25.7 How feel：对推荐系统价值的预期

25.8 从零搭建推荐系统必须做好的3件事

25.8.1 产品与算法

25.8.2 评估指标

25.8.3 AB测试

25.9 几个具体实用的建议

25.10 本章小结

第26章 基于标签的实时短视频推荐系统

26.1 基于标签的推荐算法应用场景

26.1.1 完全个性化推荐

26.1.2 标的物关联标的物推荐

26.1.3 主题推荐

26.2 基于标签的推荐算法原理

26.2.1 个性化推荐

26.2.2 视频相似推荐

26.2.3 主题推荐

26.3 推荐产品的整体架构及工程实现

26.3.1 个性化推荐

26.3.2 相似视频推荐

26.3.3 主题推荐

26.4 个性化推荐的召回与排序策略

26.4.1 召回策略

26.4.2 排序策略

26.4.3 电视猫个性化推荐实时更新策略

26.5 冷启动策略

26.6 未来优化方向

26.6.1 增加模型排序模块

26.6.2 对重复的节目做过滤

26.6.3 整合用户负反馈

26.6.4 针对标签的优化

26.7 本章小结

第27章 基于Erlang语言的视频相似推荐

27.1 视频相似推荐系统简介

27.2 相似推荐算法原理及实现细节

27.2.1 年代

27.2.2 标题

27.2.3 地域

27.2.4 豆瓣评分

27.2.5 是否获奖

27.3 实现视频相似推荐系统的问题与难点

27.3.1 数据量大，增速快

27.3.2 需要实时计算

27.3.3 计算与某个视频最相似的视频需要遍历所有视频

27.3.4 需要更新已经计算视频的相似度

27.4 为什么要用Erlang语言开发

27.4.1 Erlang语言简介

27.4.2 Erlang语言的特性

27.4.3 选择Erlang语言开发视频相似推荐系统的原因

27.5 系统架构与工程实现

27.5.1 Master节点模块与功能

27.5.2 Slaver主要负责计算任务

27.5.3 Riak集群负责最终相似推荐结果的存储

27.5.4 响应请求模块会基于用户请求给出推荐结果

27.6 相似推荐的核心亮点

27.7 未来的优化方向

27.8 本章小结

附录A 推荐算法工程师的成长之道

附录B 推荐算法团队组成及目标定位