大模型算法基础:Transformers原理与应用电子书

内容简介

前言

第1章 Transformer的基本原理

1.1 Transformer编码器结构

1.1.1 自注意力层

1.1.2 前馈层

1.1.3 位置编码

1.1.4 层归一化

1.1.5 残差连接

1.2 Transformer解码器结构

1.2.1 互注意力层

1.2.2 序列掩码

1.3 Transformer特点分析

1.3.1 Transformer与CNN、RNN的区别和联系

1.3.2 Transformer的优劣势分析

小结

参考文献

第2章 语言Transformer

2.1 自然语言处理

2.1.1 自然语言理解

2.1.2 自然语言生成

2.1.3 自回归与自编码模型

2.1.4 Word2Vec模型

2.1.5 基于RNN的Seq2Seq方法

2.1.6 基于注意力的Seq2Seq方法

2.2 基于Transformer的自然语言处理模型

2.2.1 BERT模型

2.2.2 GPT模型

2.2.3 XLNet模型

2.2.4 BART模型

2.2.5 T-5模型

2.2.6 MoE模型

2.2.7 Switch Transformer模型

2.3 预训练语言模型

2.3.1 预训练方式

2.3.2 预训练任务

2.4 微调与迁移

2.4.1 微调方法

2.4.2 Prompt方法

2.5 大语言模型

2.5.1 大模型训练策略

2.5.2 大模型训练平台

2.5.3 大语言模型微调策略

小结

参考文献

第3章 视觉Transformer

3.1 ViT模型

3.1.1 基本结构

3.1.2 图像序列化

3.1.3 类别token

3.1.4 位置编码

3.1.5 编码器结构

3.2 视觉Transformer的一般框架及变体

3.2.1 视觉Transformer的一般框架

3.2.2 计算代价

3.2.3 表达能力

3.2.4 结构设计

3.3 基于Transformer的目标检测模型

3.3.1 DETR方法

3.3.2 YOLOS方法

3.3.3 Pix2Seq方法

3.3.4 研究总结

3.4 基于Transformer的图像分割模型

3.4.1 SETR方法

3.4.2 SegFormer方法

3.4.3 Segmenter方法

3.4.4 MaskFormer方法

3.4.5 QueryInst方法

3.4.6 ISTR方法

3.4.7 Panoptic SegFormer方法

3.4.8 研究总结

3.5 基于Transformer的预训练视觉模型

3.5.1 iGPT方法

3.5.2 BEIT方法

3.5.3 MAE方法

3.5.4 SAM模型

小结

参考文献

第4章 多模态Transformer

4.1 多模态数据类型及序列化方法

4.1.1 视觉数据序列化

4.1.2 语言数据序列化

4.1.3 点云数据序列化

4.2 多模态数据融合

4.2.1 对齐与非对齐式融合

4.2.2 不同时期的融合

4.2.3 对称与非对称式融合方法

4.3 多模态预训练

4.3.1 多模态掩码预测

4.3.2 跨模态关联任务

4.3.3 跨模态生成

4.3.4 多模态顺序预测

4.4 多模态预训练模型

4.4.1 ViLBERT模型

4.4.2 CLIP模型

4.4.3 Flamingo模型

4.4.4 DALL-E 2模型

4.4.5 BLIP模型

4.4.6 BLIP-2模型

4.4.7 InstructBLIP模型

4.4.8 MiniGPT-4模型

4.4.9 Meta-Transformer模型

4.4.10 LLaVA模型

小结

参考文献

第5章 Transformer在自动驾驶中的应用

5.1 基于Transformer的自动驾驶感知

5.1.1 基于Transformer的多模态融合感知

5.1.2 基于Transformer的BEV感知

5.1.3 基于Transformer的占用网格预测

5.2 基于Transformer的自动驾驶轨迹预测

5.2.1 mmTransformer模型

5.2.2 AgentFormer模型

5.2.3 WayFormer模型

5.3 基于Transformer的自动驾驶行为与轨迹规划

5.3.1 HMIL模型

5.3.2 PlanT模型

5.3.3 VTT模型

5.4 基于Transformer的端到端自动驾驶

5.4.1 UniAD模型

5.4.2 FusionAD模型

5.4.3 VistaGPT模型

小结

参考文献

第6章 基于Transformer的AI智能体

6.1 AI智能体组成与结构

6.1.1 AI智能体配置模块：角色塑造

6.1.2 AI智能体记忆模块：知识接入

6.1.3 AI智能体工具模块：功能拓展

6.1.4 AI智能体感知模块：信息分析

6.1.5 AI智能体规划模块：决策生成

6.1.6 AI智能体行动模块：动作产生

6.2 典型的AI智能体系统

6.2.1 LangChain

6.2.2 HuggingGPT

6.2.3 CHATDEV

6.2.4 RoboGen

6.2.5 Stanford AI Town

小结

参考文献