深入浅出Embedding:原理解析与应用实践电子书

版权页

目录

前言

第一部分 Embedding基础知识

第1章 万物皆可嵌入

1.1 处理序列问题的一般步骤

1.2 Word Embedding

1.2.1 word2vec之前

1.2.2 CBOW模型

1.2.3 Skip-Gram模型

1.2.4 可视化Skip-Gram模型实现过程

1.2.5 Hierarchical Softmax优化

1.2.6 Negative Sampling优化

1.3 Item Embedding

1.3.1 微软推荐系统使用Item Embedding

1.3.2 Airbnb推荐系统使用Item Embedding

1.4 用Embedding处理分类特征

1.5 Graph Embedding

1.5.1 DeepWalk方法

1.5.2 LINE方法

1.5.3 node2vec方法

1.5.4 Graph Embedding在阿里的应用

1.5.5 知识图谱助力推荐系统实例

1.6 Contextual Word Embedding

1.6.1 多种预训练模型概述

1.6.2 多种预训练模型的发展脉络

1.6.3 各种预训练模型的优缺点

1.6.4 常用预训练模型

1.6.5 Transformer的应用

1.7 使用Word Embedding实现中文自动摘要

1.7.1 背景说明

1.7.2 预处理中文语料库

1.7.3 生成词向量

1.7.4 把文档的词转换为词向量

1.7.5 生成各主题的关键词

1.7.6 查看运行结果

1.8 小结

第2章 获取Embedding的方法

2.1 使用PyTorch的Embedding Layer

2.1.1 语法格式

2.1.2 简单实例

2.1.3 初始化

2.2 使用TensorFlow 2.0的Embedding Layer

2.2.1 语法格式

2.2.2 简单实例

2.3 从预训练模型获取Embedding

2.3.1 背景说明

2.3.2 下载IMDB数据集

2.3.3 进行分词

2.3.4 下载并预处理GloVe词嵌入

2.3.5 构建模型

2.3.6 训练模型

2.3.7 可视化训练结果

2.3.8 不使用预训练词嵌入的情况

2.4 小结

第3章 计算机视觉处理

3.1 卷积神经网络

3.1.1 卷积网络的一般架构

3.1.2 增加通道的魅力

3.1.3 加深网络的动机

3.1.4 残差连接

3.2 使用预训练模型

3.2.1 迁移学习简介

3.2.2 使用预训练模型的方法

3.3 获取预训练模型

3.4 使用PyTorch实现数据迁移实例

3.4.1 特征提取实例

3.4.2 微调实例

3.5 小结

第4章 文本及序列处理

4.1 循环网络的基本结构

4.1.1 标准循环神经网络

4.1.2 深度循环神经网络

4.1.3 LSTM网络结构

4.1.4 GRU网络结构

4.1.5 双向循环神经网络

4.2 构建一些特殊模型

4.2.1 Encoder-Decoder模型

4.2.2 Seq2Seq模型

4.3 小结

第5章 注意力机制

5.1 注意力机制概述

5.1.1 两种常见的注意力机制

5.1.2 注意力机制的本质

5.2 带注意力机制的Encoder-Decoder模型

5.2.1 引入注意力机制

5.2.2 计算注意力分配值

5.2.3 使用PyTorch实现带注意力机制的Encoder-Decoder模型

5.3 可视化Transformer

5.3.1 Transformer的顶层设计

5.3.2 Encoder与Decoder的输入

5.3.3 高并发长记忆的实现

5.3.4 为加深Transformer网络层保驾护航的几种方法

5.3.5 如何自监督学习

5.4 使用PyTorch实现Transformer

5.4.1 Transformer背景介绍

5.4.2 构建Encoder-Decoder模型

5.4.3 构建Encoder

5.4.4 构建Decoder

5.4.5 构建MultiHeadedAttention

5.4.6 构建前馈网络层

5.4.7 预处理输入数据

5.4.8 构建完整网络

5.4.9 训练模型

5.4.10 实现一个简单实例

5.5 Transformer-XL

5.5.1 引入循环机制

5.5.2 使用相对位置编码

5.5.3 Transformer-XL计算过程

5.6 使用PyTorch构建Transformer-XL

5.6.1 构建单个Head Attention

5.6.2 构建MultiHeadAttention

5.6.3 构建Decoder

5.7 Reformer

5.7.1 使用局部敏感哈希

5.7.2 使用可逆残差网络

5.8 小结

第6章 从Word Embedding到ELMo

6.1 从word2vec到ELMo

6.2 可视化ELMo原理

6.2.1 字符编码层

6.2.2 双向语言模型

6.2.3 生成ELMo词嵌入

6.3 小结

第7章 从ELMo到BERT和GPT

7.1 ELMo的优缺点

7.2 可视化BERT原理

7.2.1 BERT的整体架构

7.2.2 BERT的输入

7.2.3 掩码语言模型

7.2.4 预测下一个句子

7.2.5 微调

7.2.6 使用特征提取方法

7.3 使用PyTorch实现BERT

7.3.1 BERTEmbedding类的代码

7.3.2 TransformerBlock类的代码

7.3.3 构建BERT的代码

7.4 可视化GPT原理

7.4.1 GPT简介

7.4.2 GPT的整体架构

7.4.3 GPT的模型结构

7.4.4 GPT-2的Multi-Head与BERT的Multi-Head之间的区别

7.4.5 GPT-2的输入

7.4.6 GPT-2计算遮掩自注意力的详细过程

7.4.7 输出

7.4.8 GPT与GPT-2的异同

7.5 GPT-3简介

7.6 小结

第8章 BERT的优化方法

8.1 可视化XLNet原理

8.1.1 排列语言模型简介

8.1.2 使用双流自注意力机制

8.1.3 融入Transformer-XL的理念

8.1.4 改进后的效果

8.2 ALBERT方法

8.2.1 分解Vocabulary Embedding矩阵

8.2.2 跨层共享参数

8.2.3 用SOP代替NSP方法

8.2.4 其他优化方法

8.3 ELECTRA方法

8.3.1 ELECTRA概述

8.3.2 RTD结构

8.3.3 损失函数

8.3.4 ELECTRA与GAN的异同

8.3.5 评估

8.4 小结

第9章 推荐系统

9.1 推荐系统概述

9.1.1 推荐系统的一般流程

9.1.2 常用推荐算法

9.2 协同过滤

9.2.1 基于用户的协同过滤

9.2.2 基于物品的协同过滤

9.3 深度学习在推荐系统中的应用

9.3.1 协同过滤中与神经网络结合

9.3.2 融入多层感知机的推荐系统

9.3.3 融入卷积网络的推荐系统

9.3.4 融入Transformer的推荐系统

9.4 小结

第二部分 Embedding应用实例

第10章 用Embedding表现分类特征

10.1 项目背景

10.1.1 项目概述

10.1.2 数据集说明

10.2 TensorFlow 2详细实现

10.2.1 导入TensorFlow和其他库

10.2.2 导入数据集并创建dataframe

10.2.3 将dataframe拆分为训练、验证和测试集

10.2.4 用tf.data创建输入流水线

10.2.5 TensorFlow提供的几种处理特征列的方法

10.2.6 选择特征

10.2.7 创建网络的输入层

10.2.8 创建、编译和训练模型

10.2.9 可视化训练过程

10.2.10 测试模型

10.3 小结

第11章 用Embedding提升机器学习性能

11.1 项目概述

11.1.1 数据集简介

11.1.2 导入数据

11.1.3 预处理数据

11.1.4 定义公共函数

11.2 使用Embedding提升神经网络性能

11.2.1 基于独热编码的模型

11.2.2 基于Embedding的模型

11.3 构建XGBoost模型

11.4 使用Embedding数据的XGBoost模型

11.5 可视化Embedding数据

11.6 小结

第12章 用Transformer实现英译中

12.1 TensorFlow 2+实例概述

12.2 预处理数据

12.2.1 下载数据

12.2.2 分割数据

12.2.3 创建英文语料字典

12.2.4 创建中文语料字典

12.2.5 定义编码函数

12.2.6 过滤数据

12.2.7 创建训练集和验证集

12.3 构建Transformer模型

12.3.1 Transformer模型架构图

12.3.2 架构说明

12.3.3 构建scaled_dot_product_attention模块

12.3.4 构建MultiHeadAttention模块

12.3.5 构建point_wise_feed_forward_network模块

12.3.6 构建EncoderLayer模块

12.3.7 构建Encoder模块

12.3.8 构建DecoderLayer模块

12.3.9 构建Decoder模块

12.3.10 构建Transformer模型

12.3.11 定义掩码函数

12.4 定义损失函数

12.5 定义优化器

12.6 训练模型

12.6.1 实例化Transformer

12.6.2 设置checkpoint

12.6.3 生成多种掩码

12.6.4 定义训练模型函数

12.6.5 训练模型

12.7 评估预测模型

12.7.1 定义评估函数

12.7.2 测试翻译几个简单语句

12.8 可视化注意力权重

12.9 小结

第13章 Embedding技术在推荐系统中的应用

13.1 Embedding在Airbnb推荐系统中的应用

13.2 Transformer在阿里推荐系统中的应用

13.3 BERT在美团推荐系统中的应用

13.4 小结

第14章 用BERT实现中文语句分类

14.1 背景说明

14.1.1 查看中文BERT字典里的一些信息

14.1.2 使用tokenizer分割中文语句

14.2 可视化BERT注意力权重

14.2.1 BERT对MASK字的预测

14.2.2 导入可视化需要的库

14.2.3 可视化

14.3 用BERT预训练模型微调下游任务

14.3.1 准备原始文本数据

14.3.2 将原始文本转换成BERT的输入格式

14.3.3 定义读取数据的函数

14.3.4 读取数据并进行数据转换

14.3.5 增加一个批量维度

14.3.6 查看一个批次数据样例

14.3.7 微调BERT完成下游任务

14.3.8 查看微调后模型的结构

14.4 训练模型

14.4.1 定义预测函数

14.4.2 训练模型

14.5 测试模型

14.5.1 用新数据测试模型

14.5.2 比较微调前后的数据异同

14.5.3 可视化注意力权重

14.6 小结

第15章 用GPT-2生成文本

15.1 GPT-2概述

15.2 用GPT-2生成新闻

15.2.1 定义随机选择函数

15.2.2 使用预训练模型生成新闻

15.3 微调GPT-2生成戏剧文本

15.3.1 读取文件

15.3.2 对文件进行分词

15.3.3 把数据集转换为可迭代对象

15.3.4 训练模型

15.3.5 使用模型生成文本

15.4 小结

第16章 Embedding技术总结

16.1 Embedding技术回顾

16.1.1 Embedding表示

16.1.2 多种学习Embedding表示的算法

16.1.3 几种Embedding衍生技术

16.1.4 Embedding技术的不足

16.2 Embedding技术展望

16.2.1 从Embedding的表示方面进行优化

16.2.2 从Embedding的结构上进行优化

16.3 小结

附录A 基于GPU的TensorFlow 2+、PyTorch 1+升级安装

附录B 语言模型