自然语言处理:基于预训练模型的方法电子书

内容简介

推荐序

推荐语

前言

数学符号

第1章 绪论

1.1 自然语言处理的概念

1.2 自然语言处理的难点

1.2.1 抽象性

1.2.2 组合性

1.2.3 歧义性

1.2.4 进化性

1.2.5 非规范性

1.2.6 主观性

1.2.7 知识性

1.2.8 难移植性

1.3 自然语言处理任务体系

1.3.1 任务层级

1.3.2 任务类别

1.3.3 研究对象与层次

1.4 自然语言处理技术发展历史

第2章 自然语言处理基础

2.1 文本的表示

2.1.1 词的独热表示

2.1.2 词的分布式表示

2.1.3 词嵌入表示

2.1.4 文本的词袋表示

2.2 自然语言处理任务

2.2.1 语言模型

2.2.2 自然语言处理基础任务

2.2.3 自然语言处理应用任务

2.3 基本问题

2.3.1 文本分类问题

2.3.2 结构预测问题

2.3.3 序列到序列问题

2.4 评价指标

2.5 小结

第3章 基础工具集与常用数据集

3.1 NLTK工具集

3.1.1 常用语料库和词典资源

3.1.2 常用自然语言处理工具集

3.2 LTP工具集

3.2.1 中文分词

3.2.2 其他中文自然语言处理功能

3.3 PyTorch基础

3.3.1 张量的基本概念

3.3.2 张量的基本运算

3.3.3 自动微分

3.3.4 调整张量形状

3.3.5 广播机制

3.3.6 索引与切片

3.3.7 降维与升维

3.4 大规模预训练数据

3.4.1 维基百科数据

3.4.2 原始数据的获取

3.4.3 语料处理方法

3.4.4 Common Crawl数据

3.5 更多数据集

3.6 小结

第4章 自然语言处理中的神经网络基础

4.1 多层感知器模型

4.1.1 感知器

4.1.2 线性回归

4.1.3 Logistic回归

4.1.4 Softmax回归

4.1.5 多层感知器

4.1.6 模型实现

4.2 卷积神经网络

4.2.1 模型结构

4.2.2 模型实现

4.3 循环神经网络

4.3.1 模型结构

4.3.2 长短时记忆网络

4.3.3 模型实现

4.3.4 基于循环神经网络的序列到序列模型

4.4 注意力模型

4.4.1 注意力机制

4.4.2 自注意力模型

4.4.3 Transformer

4.4.4 基于Transformer的序列到序列模型

4.4.5 Transformer模型的优缺点

4.4.6 模型实现

4.5 神经网络模型的训练

4.5.1 损失函数

4.5.2 梯度下降

4.6 情感分类实战

4.6.1 词表映射

4.6.2 词向量层

4.6.3 融入词向量层的多层感知器

4.6.4 数据处理

4.6.5 多层感知器模型的训练与测试

4.6.6 基于卷积神经网络的情感分类

4.6.7 基于循环神经网络的情感分类

4.6.8 基于Transformer的情感分类

4.7 词性标注实战

4.7.1 基于前馈神经网络的词性标注

4.7.2 基于循环神经网络的词性标注

4.7.3 基于Transformer的词性标注

4.8 小结

第5章 静态词向量预训练模型

5.1 神经网络语言模型

5.1.1 概述

5.1.2 预训练任务

5.1.3 模型实现

5.2 Word2vec词向量

5.2.1 概述

5.2.2 负采样

5.2.3 模型实现

5.3 GloVe词向量

5.3.1 概述

5.3.2 预训练任务

5.3.3 参数估计

5.3.4 模型实现

5.4 评价与应用

5.4.1 词义相关性

5.4.2 类比性

5.4.3 应用

5.5 小结

第6章 动态词向量预训练模型

6.1 词向量——从静态到动态

6.2 基于语言模型的动态词向量预训练

6.2.1 双向语言模型

6.2.2 ELMo词向量

6.2.3 模型实现

6.2.4 应用与评价

6.3 小结

第7章 预训练语言模型

7.1 概述

7.1.1 大数据

7.1.2 大模型

7.1.3 大算力

7.2 GPT

7.2.1 无监督预训练

7.2.2 有监督下游任务精调

7.2.3 适配不同的下游任务

7.3 BERT

7.3.1 整体结构

7.3.2 输入表示

7.3.3 基本预训练任务

7.3.4 更多预训练任务

7.3.5 模型对比

7.4 预训练语言模型的应用

7.4.1 概述

7.4.2 单句文本分类

7.4.3 句对文本分类

7.4.4 阅读理解

7.4.5 序列标注

7.5 深入理解BERT

7.5.1 概述

7.5.2 自注意力可视化分析

7.5.3 探针实验

7.6 小结

第8章 预训练语言模型进阶

8.1 模型优化

8.1.1 XLNet

8.1.2 RoBERTa

8.1.3 ALBERT

8.1.4 ELECTRA

8.1.5 MacBERT

8.1.6 模型对比

8.2 长文本处理

8.2.1 概述

8.2.2 Transformer-XL

8.2.3 Reformer

8.2.4 Longformer

8.2.5 BigBird

8.2.6 模型对比

8.3 模型蒸馏与压缩

8.3.1 概述

8.3.2 DistilBERT

8.3.3 TinyBERT

8.3.4 MobileBERT

8.3.5 TextBrewer

8.4 生成模型

8.4.1 BART

8.4.2 UniLM

8.4.3 T5

8.4.4 GPT-3

8.4.5 可控文本生成

8.5 小结

第9章 多模态融合的预训练模型

9.1 多语言融合

9.1.1 多语言BERT

9.1.2 跨语言预训练语言模型

9.1.3 多语言预训练语言模型的应用

9.2 多媒体融合

9.2.1 VideoBERT

9.2.2 VL-BERT

9.2.3 DALL·E

9.2.4 ALIGN

9.3 异构知识融合

9.3.1 融入知识的预训练

9.3.2 多任务学习

9.4 更多模态的预训练模型

9.5 小结

参考文献

术语表