大模型技术与构建:从入门到实战:插画版电子书

书名页

内容简介

版权

前言

第1章　从语言到智能

1.1　语言的起源

1.1.1　人类语言的起源

1.1.2　语言发展中的重要里程碑

1.2　语言在信息社会中的重要性

1.2.1　数字化时代中的语言变革

1.2.2　社交媒体对语言的影响

1.3　人工智能时代的语言技术

1.3.1　自然语言处理的定义和应用范围

1.3.2　机器翻译与自然语言生成技术

第2章　走近大语言模型

2.1　Transformer：自然语言处理的新趋势

2.1.1　文本分类

2.1.2　自然语言推理

2.1.3　语义相似度计算

2.1.4　命名实体识别

2.1.5　摘要生成

2.2　Transformer初体验：大模型的前世今生

2.2.1　Transformer工作原理浅析

2.2.2　代码示例：Transformer文本处理

2.3　词嵌入和神经网络：大语言模型的基石

2.3.1　词嵌入的奇妙世界

2.3.2　词嵌入与神经网络的融合

2.3.3　神奇的注意力机制

2.3.4　像素级Query-Key-Value机制详解

2.4　大语言模型：数学的韵律，文本的乐章

2.4.1　从神经网络到大语言模型的演进

2.4.2　大语言模型的概念

2.4.3　大语言模型的架构和特点

第3章　深入理解Transformer核心

3.1　Transformer模型剖析：揭示内核机制

3.1.1　Transformer模型概述

3.1.2　引入编码器与解码器

3.2　编码器：文本信息的变换引擎

3.2.1　词嵌入和位置编码

3.2.2　自注意力机制和多头注意力机制

3.2.3　前馈神经网络层和残差连接

3.2.4　Dropout正则化机制

3.3　编码器+解码器：信息传递与生成的精华

3.3.1　交叉注意力机制和输出分布计算

3.3.2　掩蔽处理和序列生成

3.4　解码器：文本生成的要诀

3.4.1　省略交叉注意力机制

3.4.2　自回归生成任务的应用

3.5　像素级Transformer详解：中译英为例

第4章　大语言模型技术精要

4.1　文本解析：语言预测之道探索

4.1.1　文字预测的基本原理

4.1.2　文字预测的学习过程

4.1.3　大模型中的文本预测应用

4.2　GPT：文本生成的灵魂

4.2.1　输入数据的表示方法

4.2.2　预训练策略和技术

4.2.3　微调方法和应用

4.2.4　GPT代码实践：文本生成

4.3　BERT . RoBERTa：文本编码的新思路

4.3.1　输入数据的表示方法

4.3.2　预训练策略和技术

4.3.3　微调方法和应用

4.3.4　BERT代码实践：文本填空

4.4　T5：融合之美，文本转换的全新范式

4.4.1　输入数据的表示方法

4.4.2　预训练策略和技术

4.4.3　微调方法和应用

4.4.4　T5代码实践：摘要生成

4.5　跨语言模型：多语言处理的新前沿

4.5.1　跨语言模型的优势和特点

4.5.2　跨语言模型挑战与策略

4.5.3　多语言模型在实践中的应用案例

4.6　语言文字处理：微观视角的文本挖掘

4.6.1　字节对编码技术和实践

4.6.2　WordPiece方法探索和应用

4.6.3　中文文字的处理策略

4.6.4　中文文字处理的前沿探索

4.7　大语言模型的蜕变：技术演进与前瞻展望

4.7.1　模型的提示控制技术

4.7.2　对准技术的重要性

4.7.3　指令微调

4.7.4　ChatGPT与RLHF

4.7.5　DeepSeek

第5章　大语言模型系统开发构建

5.1　Hugging Face基础：驾驭Transformers

5.1.1　Hugging Face介绍

5.1.2　访问模型的方式

5.1.3　用Transformers访问模型

5.2　中文基准测试：窥探性能

5.2.1　数据集组成与构建方法

5.2.2　大模型性能评估指标

5.2.3　CLUE任务与数据集简介

5.3　实现情感分析模型：探索情感世界的大门

5.3.1　环境搭建与数据准备

5.3.2　数据探索性分析

5.3.3　数据预处理

5.3.4　模型训练与评估

5.3.5　Early Stopping机制

5.4　情感分析模型的微调分析：情感的微妙之处

5.4.1　查看模型预测的结果

5.4.2　总体趋势可视化分析

5.4.3　分析模型预测出错倾向

5.5　指令微调策略：Instructing Tuning

5.5.1　学习数据的获取

5.5.2　创建学习数据

5.5.3　执行指令微调

5.5.4　语句生成

5.6　发挥硬件极限的微调：策略与技巧

5.6.1　AMP深度学习优化策略

5.6.2　梯度累计策略

5.6.3　梯度检查点

5.6.4　LoRA微调策略

5.6.5　LoRA微调实现

5.6.6　QLoRA信息压缩策略

5.6.7　提示微调的策略：平衡成本与性能

第6章　大语言模型核心实践

6.1　RAG：使用搜索生成语句

6.1.1　什么是RAG

6.1.2　构建矢量数据库

6.2　LangChain库：基础入门

6.2.1　LangChain介绍

6.2.2　LangChain基础库

6.2.3　LangChain核心组件

6.3　基于开源LLM构建RAG问答系统

6.3.1　什么是QA系统

6.3.2　构建开源RAG