大模型实战:微调、优化与私有化部署电子书

内容简介

前言

第1章 从零开始大模型之旅

1.1 对话机器人历史

1.1.1 人机同频交流

1.1.2 人机对话发展历史

1.2 人工智能

1.2.1 从感知到创造

1.2.2 通用人工智能

1.2.3 发展方向

1.2.4 本书焦点

1.3 本章小结

第2章 大模型私有化部署

2.1 CUDA环境准备

2.1.1 基础环境

2.1.2 大模型运行环境

2.1.3 安装显卡驱动

2.1.4 安装CUDA

2.1.5 安装cuDNN

2.2 深度学习环境准备

2.2.1 安装Anaconda环境

2.2.2 服务器环境下的环境启动

2.2.3 安装PyTorch

2.3 GLM-3和GLM-4

2.3.1 GLM-3介绍

2.3.2 GLM-4介绍

2.4 GLM-4私有化部署

2.4.1 创建虚拟环境

2.4.2 下载GLM-4项目文件

2.4.3 安装项目依赖包

2.4.4 下载模型权重

2.5 运行GLM-4的方式

2.5.1 基于命令行的交互式对话

2.5.2 基于Gradio库的Web端对话应用

2.5.3 OpenAI风格的API调用方法

2.5.4 模型量化部署

2.6 本章小结

第3章 大模型理论基础

3.1 自然语言领域中的数据

3.1.1 时间序列数据

3.1.2 分词

3.1.3 Token

3.1.4 Embedding

3.1.5 语义向量空间

3.2 语言模型历史演进

3.2.1 语言模型历史演进

3.2.2 统计语言模型

3.2.3 神经网络语言模型

3.3 注意力机制

3.3.1 RNN模型

3.3.2 Seq2Seq模型

3.3.3 Attention注意力机制

3.4 Transformer架构

3.4.1 整体架构

3.4.2 Self-Attention

3.4.3 Multi-Head Attention

3.4.4 Encoder

3.4.5 Decoder

3.4.6 实验效果

3.5 本章小结

第4章 大模型开发工具

4.1 Huggingface

4.1.1 Huggingface介绍

4.1.2 安装Transformers库

4.2 大模型开发工具

4.2.1 开发范式

4.2.2 Transformers库核心设计

4.3 Transformers库详解

4.3.1 NLP任务处理全流程

4.3.2 数据转换形式

4.3.3 Tokenizer

4.3.4 模型加载和解读

4.3.5 模型的输出

4.3.6 模型的保存

4.4 全量微调训练方法

4.4.1 Datasets库和Accelerate库

4.4.2 数据格式

4.4.3 数据预处理

4.4.4 模型训练的参数

4.4.5 模型训练

4.4.6 模型评估

4.5 本章小结

第5章 高效微调方法

5.1 主流的高效微调方法介绍

5.1.1 微调方法介绍

5.1.2 Prompt的提出背景

5.2 PEFT库快速入门

5.2.1 介绍

5.2.2 设计理念

5.2.3 使用

5.3 Prefix Tuning

5.3.1 背景

5.3.2 核心技术解读

5.3.3 实现步骤

5.3.4 实验结果

5.4 Prompt Tuning

5.4.1 背景

5.4.2 核心技术解读

5.4.3 实现步骤

5.4.4 实验结果

5.5 P-Tuning

5.5.1 背景

5.5.2 核心技术解读

5.5.3 实现步骤

5.5.4 实验结果

5.6 P-Tuning V2

5.6.1 背景

5.6.2 核心技术解读

5.6.3 实现步骤

5.6.4 实验结果

5.7 本章小结

第6章 LoRA微调GLM-4实战

6.1 LoRA

6.1.1 背景

6.1.2 核心技术解读

6.1.3 LoRA的特点

6.1.4 实现步骤

6.1.5 实验结果

6.2 AdaLoRA

6.2.1 LoRA的缺陷

6.2.2 核心技术解读

6.2.3 实现步骤

6.2.4 实验结果

6.3 QLoRA

6.3.1 背景

6.3.2 技术原理解析

6.4 量化技术

6.4.1 背景

6.4.2 量化技术分类

6.4.3 BitsAndBytes库

6.4.4 实现步骤

6.4.5 实验结果

6.5 本章小结

第7章 提示工程入门与实践

7.1 探索大模型潜力边界

7.1.1 潜力的来源

7.1.2 Prompt的六个建议

7.2 Prompt实践

7.2.1 四个经典推理问题

7.2.2 大模型原始表现

7.3 提示工程

7.3.1 提示工程的概念

7.3.2 Few-shot

7.3.3 通过思维链提示法提升模型推理能力

7.3.4 Zero-shot-CoT提示方法

7.3.5 Few-shot-CoT提示方法

7.4 Least-to-Most Prompting（LtM提示方法）

7.4.1 Least-to-Most Prompting基本概念

7.4.2 Zero-shot-LtM提示过程

7.4.3 效果验证

7.5 提示使用技巧

7.5.1 B.R.O.K.E提示框架

7.5.2 C.O.A.S.T提示框架

7.5.3 R.O.S.E.S提示框架

7.6 本章小结

第8章 大模型与中间件

8.1 AI Agent

8.1.1 从AGI到Agent

8.1.2 Agent概念

8.1.3 AI Agent应用领域

8.2 大模型对话模式

8.2.1 模型分类

8.2.2 多角色对话模式

8.3 多角色对话模式实战

8.3.1 messages参数结构及功能解释

8.3.2 messages参数中的角色划分

8.4 Function Calling功能

8.4.1 发展历史

8.4.2 简单案例

8.5 实现多函数

8.5.1 定义多个工具函数

8.5.2 测试结果

8.6 Bing搜索嵌入LLM

8.6.1 昙花一现的Browsing with Bing

8.6.2 需求分析

8.6.3 Google搜索API的获取和使用

8.6.4 构建自动搜索问答机器人

8.7 本章小结

第9章 LangChain理论与实战

9.1 整体介绍

9.1.1 什么是LangChain

9.1.2 意义

9.1.3 整体架构

9.2 Model I/O

9.2.1 架构

9.2.2 LLM

9.2.3 ChatModel

9.2.4 Prompt Template

9.2.5 实战：LangChain接入本地GLM

9.2.6 Parser

9.3 Chain

9.3.1 基础概念

9.3.2 常用的Chain

9.4 Memory

9.4.1 基础概念

9.4.2 流程解读

9.4.3 常用Memory

9.5 Agents

9.5.1 理论

9.5.2 快速入门

9.5.3 架构

9.6 LangChain实现Function Calling

9.6.1 工具定义

9.6.2 OutputParser

9.6.3 使用

9.7 本章小结

第10章 实战：垂直领域大模型

10.1 QLoRA微调GLM-4

10.1.1 定义全局变量和参数

10.1.2 红十字会数据准备

10.1.3 训练模型

10.2 大模型接入数据库

10.2.1 大模型挑战

10.2.2 数据集准备

10.2.3 SQLite3

10.2.4 获取数据库信息

10.2.5 构建tools信息

10.2.6 模型选择

10.2.7 效果测试

10.3 LangChain重写查询

10.3.1 环境配置

10.3.2 工具使用

10.4 RAG检索增强

10.4.1 自动化数据生成

10.4.2 RAG搭建

10.5 本章小结

参考文献