Happy-LLM:从零开始构建大模型电子书

版 权

内 容 提 要

前 言

资源与支持

第1章 NLP基础概念

1.1 什么是NLP

1.2 NLP发展历程

1.3 NLP任务

1.3.1 中文分词

1.3.2 子词切分

1.3.3 词性标注

1.3.4 文本分类

1.3.5 实体识别

1.3.6 关系抽取

1.3.7 文本摘要

1.3.8 机器翻译

1.3.9 自动问答

1.4 文本表示的发展历程

1.4.1 词向量

1.4.2 语言模型

1.4.3 Word2Vec

1.4.4 ELMo

1.5 本章小结

参考资料

第2章 Transformer架构

2.1 注意力机制

2.1.1 什么是注意力机制

2.1.2 深入理解注意力机制

2.1.3 注意力机制的实现

2.1.4 自注意力

2.1.5 掩码自注意力

2.1.6 多头注意力

2.2 编码器-解码器架构

2.2.1 Seq2Seq

2.2.2 全连接神经网络

2.2.3 层归一化

2.2.4 残差连接

2.2.5 编码器

2.2.6 解码器

2.3 搭建一个Transformer模型

2.3.1 嵌入层

2.3.2 位置编码

2.3.3 一个完整的Transformer

参考资料

第3章 PLM

3.1 仅编码器PLM

3.1.1 BERT

3.1.2 RoBERTa

3.1.3 ALBERT

3.2 编码器-解码器PLM

T5

3.3 仅解码器PLM

3.3.1 GPT

3.3.2 LLaMA

3.3.3 GLM

参考资料

第4章 LLM

4.1 什么是LLM

4.1.1 LLM的定义

4.1.2 LLM的能力

4.1.3 LLM的特点

4.2 如何训练一个LLM

4.2.1 预训练

4.2.2 SFT

4.2.3 RLHF

参考资料

第5章 动手搭建大模型

5.1 动手搭建一个LLaMA2大模型

5.1.1 定义超参数

5.1.2 构建RMS归一化

5.1.3 构建LLaMA2 Attention模块

5.1.4 构建LLaMA2 MLP模块

5.1.5 构建LLaMA2的解码器层

5.1.6 构建LLaMA2大模型

5.2 训练分词器

5.2.1 词级分词器

5.2.2 字符级分词器

5.2.3 子词级分词器

5.2.4 训练一个分词器

5.3 预训练一个小型LLM

5.3.1 数据下载

5.3.2 分词器训练实战

5.3.3 数据集

5.3.4 预训练

5.3.5 SFT训练

5.3.6 使用模型生成文本

第6章 大模型训练流程实践

6.1 模型预训练

6.1.1 Transformers框架介绍

6.1.2 初始化LLM

6.1.3 预训练数据处理

6.1.4 使用Trainer类进行训练

6.1.5 使用DeepSpeed实现分布式训练

6.2 模型SFT

6.2.1 预训练与SFT

6.2.2 微调数据处理

6.3 高效微调

6.3.1 高效微调方案

6.3.2 LoRA微调

6.3.3 LoRA微调的原理

6.3.4 LoRA微调的代码实现

6.3.5 使用peft实现LoRA微调

参考资料

第7章 大模型应用

7.1 大模型评测

7.1.1 LLM的评测数据集

7.1.2 主流的大模型评测榜单

7.1.3 特定的大模型评测榜单

7.2 RAG

7.2.1 RAG的基本原理

7.2.2 实现一个RAG框架

7.3 智能体

7.3.1 什么是智能体

7.3.2 智能体的类型

7.3.3 动手构造一个小型智能体

参考资料