预训练语言模型:方法、实践与应用电子书

内 容 提 要

前 言

资源与支持

第一部分 基础知识

第1章 自然语言处理介绍

1.1 什么是自然语言处理

1.2 自然语言处理的发展历史

1.3 自然语言的特性

1.3.1 歧义性

1.3.2 主观性

1.3.3 创造性

1.3.4 社会性

1.4 自然语言处理的研究领域

1.5 自然语言处理的常规任务

1.5.1 机器翻译

1.5.2 信息抽取

1.6 自然语言处理的常用工具

1.6.1 常用工具

1.6.2 PyTorch介绍

第2章 神经网络预备知识

2.1 神经网络核心概念

2.1.1 导数和梯度

2.1.2 链式法则

2.1.3 损失函数

2.1.4 前向传播与反向传播

2.1.5 激活函数

2.2 神经网络主要类型

2.2.1 全连接神经网络

2.2.2 卷积神经网络

2.2.3 循环神经网络

2.2.4 长短期记忆网络

2.2.5 自编码器

2.2.6 生成对抗网络

第3章 预训练语言模型基础知识

3.1 什么是预训练

3.2 文本表示方法的分类

3.3 词袋型文本表示方法

3.3.1 独热编码

3.3.2 词袋模型

3.3.3 N-gram

3.3.4 TF-IDF

3.4 主题型文本表示方法

3.4.1 LSA

3.4.2 LDA

3.5 固定型词向量文本表示方法

3.5.1 Word2Vec

3.5.2 GloVe

3.5.3 FastText

3.6 动态型词向量文本表示方法

3.6.1 ELMo

3.6.2 ELMo实现

第二部分 预训练语言模型

第4章 注意力机制和Transformer模型

4.1 注意力机制简介

4.1.1 什么是注意力机制

4.1.2 自注意力机制

4.1.3 多头注意力机制

4.2 Transformer模型

4.2.1 编码器部分

4.2.2 解码器部分

4.2.3 模型示例

第5章 BERT和变种BERT

5.1 BERT

5.1.1 BERT模型结构

5.1.2 BERT输入表示

5.1.3 BERT预训练

5.1.4 BERT微调训练

5.1.5 模型示例

5.2 变种BERT

5.2.1 ALBERT

5.2.2 XLNet

5.2.3 RoBERTa

5.2.4 ELECTRA

5.2.5 ERNIE

第6章 GPT和提示工程

6.1 GPT系列

6.1.1 GPT-1

6.1.2 GPT-2

6.1.3 GPT-3

6.1.4 InstructGPT和ChatGPT

6.1.5 GPT-4

6.2 Prompt

6.2.1 什么是提示工程

6.2.2 构建提示模板的方法

6.2.3 提示工程常用技术

6.2.4 提示词应用示例

第三部分 实践与应用

第7章 基于LangChain和ChatGLM-6B的知识库问答系统

7.1 核心组件

7.1.1 LangChain

7.1.2 ChatGLM-6B

7.2 构建流程

7.2.1 本地知识库构建

7.2.2 基于知识库的问答系统构建

7.3 趋势与挑战

7.3.1 发展趋势

7.3.2 面临的挑战

第8章 基于大型语言模型的自然语言处理任务应用研究

8.1 文本分类任务

8.1.1 任务描述

8.1.2 提示词设计

8.1.3 实现与测试

8.2 信息抽取任务

8.2.1 任务描述

8.2.2 提示词设计

8.2.3 实现与测试

8.3 文本匹配任务

8.3.1 任务描述

8.3.2 提示词设计

8.3.3 实现与测试

第9章 大模型训练实战

9.1 预训练阶段

9.1.1 数据准备

9.1.2 数据处理

9.1.3 词表扩充

9.1.4 模型预训练

9.1.5 模型效果评测

9.2 指令微调阶段

9.2.1 指令微调

9.2.2 数据集准备

9.2.3 指令微调模板

9.3 奖励模型

9.3.1 直接打分

9.3.2 排序打分

9.4 RLHF微调

9.4.1 流程介绍

9.4.2 具体实现

9.5 大模型评测

9.5.1 评测内容

9.5.2 评测方法

9.5.3 评测挑战