大模型应用开发 动手做AI Agent电子书

版 权

内容提要

前 言

题 记

资源与支持

第1章 何谓Agent，为何Agent[1]

1.1 大开脑洞的演讲：Life 3.0

1.2 那么，究竟何谓Agent

1.3 Agent的大脑：大模型的通用推理能力

1.3.1 人类的大脑了不起

1.3.2 大模型出现之前的Agent

1.3.3 大模型就是Agent的大脑

1.3.4 期望顶峰和失望低谷

1.3.5 知识、记忆、理解、表达、推理、反思、泛化和自我提升

1.3.6 基于大模型的推理能力构筑AI应用

1.4 Agent的感知力：语言交互能力和多模态能力

1.4.1 语言交互能力

1.4.2 多模态能力

1.4.3 结合语言交互能力和多模态能力

1.5 Agent的行动力：语言输出能力和工具使用能力

1.5.1 语言输出能力

1.5.2 工具使用能力

1.5.3 具身智能的实现

1.6 Agent对各行业的效能提升

1.6.1 自动办公好助手

1.6.2 客户服务革命

1.6.3 个性化推荐

1.6.4 流程的自动化与资源的优化

1.6.5 医疗保健的变革

1.7 Agent带来新的商业模式和变革

1.7.1 Gartner的8项重要预测

1.7.2 Agent即服务

1.7.3 多Agent协作

1.7.4 自我演进的AI

1.7.5 具身智能的发展

1.8 小结

第2章 基于大模型的Agent技术框架

2.1 Agent的四大要素

2.2 Agent的规划和决策能力

2.3 Agent的各种记忆机制

2.4 Agent的核心技能：调用工具

2.5 Agent的推理引擎：ReAct框架

2.5.1 何谓ReAct

2.5.2 用ReAct框架实现简单Agent

2.5.3 基于ReAct框架的提示

2.5.4 创建大模型实例

2.5.5 定义搜索工具

2.5.6 构建ReAct Agent

2.5.7 执行ReAct Agent

2.6 其他Agent认知框架

2.6.1 函数调用

2.6.2 计划与执行

2.6.3 自问自答

2.6.4 批判修正

2.6.5 思维链

2.6.6 思维树

2.7 小结

第3章 OpenAI API、LangChain和LlamaIndex

3.1 何谓OpenAI API

3.1.1 说说OpenAI这家公司

3.1.2 OpenAI API和Agent开发

3.1.3 OpenAI API的聊天程序示例

3.1.4 OpenAI API的图片生成示例

3.1.5 OpenAI API实践

3.2 何谓LangChain

3.2.1 说说LangChain

3.2.2 LangChain中的六大模块

3.2.3 LangChain和Agent开发

3.2.4 LangSmith的使用方法

3.3 何谓LlamaIndex

3.3.1 说说LlamaIndex

3.3.2 LlamaIndex和基于RAG的AI开发

3.3.3 简单的LlamaIndex开发示例

3.4 小结

第4章 Agent 1：自动化办公的实现——通过 Assistants API和DALL·E 3模型创作PPT

4.1 OpenAI公司的Assistants是什么

4.2 不写代码，在Playground中玩Assistants

4.3 Assistants API的简单示例

4.3.1 创建助手

4.3.2 创建线程

4.3.3 添加消息

4.3.4 运行助手

4.3.5 显示响应

4.4 创建一个简短的虚构PPT

4.4.1 数据的收集与整理

4.4.2 创建OpenAI助手

4.4.3 自主创建数据分析图表

4.4.4 自主创建数据洞察

4.4.5 自主创建页面标题

4.4.6 用DALL·E 3模型为PPT首页配图

4.4.7 自主创建PPT

4.5 小结

第5章 Agent 2：多功能选择的引擎——通过 Function Calling调用函数

5.1 OpenAI中的Functions

5.1.1 什么是Functions

5.1.2 Function的说明文字很重要

5.1.3 Function定义中的Sample是什么

5.1.4 什么是Function Calling

5.2 在Playground中定义Function

5.3 通过Assistants API实现Function Calling

5.3.1 创建能使用Function的助手

5.3.2 不调用Function，直接运行助手

5.3.3 在Run进入requires_action状态之后跳出循环

5.3.4 拿到助手返回的元数据信息

5.3.5 通过助手的返回信息调用函数

5.3.6 通过submit_tool_outputs提交结果以完成任务

5.4 通过ChatCompletion API来实现Tool Calls

5.4.1 初始化对话和定义可用函数

5.4.2 第一次调用大模型，向模型发送对话及工具定义，并获取响应

5.4.3 调用模型选择的工具并构建新消息

5.4.4 第二次向大模型发送对话以获取最终响应

5.5 小结

第6章 Agent 3：推理与行动的协同——通过 LangChain中的ReAct框架实现自动定价

6.1 复习ReAct框架

6.2 LangChain中ReAct Agent 的实现

6.3 LangChain中的工具和工具包

6.4 通过create_react_agent创建鲜花定价Agent

6.5 深挖AgentExecutor的运行机制

6.5.1 在AgentExecutor中设置断点

6.5.2 第一轮思考：模型决定搜索

6.5.3 第一轮行动：工具执行搜索

6.5.4 第二轮思考：模型决定计算

6.5.5 第二轮行动：工具执行计算

6.5.6 第三轮思考：模型完成任务

6.6 小结

第7章 Agent 4：计划和执行的解耦——通过LangChain中的Plan-and-Execute实现智能调度库存

7.1 Plan-and-Solve策略的提出

7.2 LangChain中的Plan-and-Execute Agent

7.3 通过Plan-and-Execute Agent实现物流管理

7.3.1 为Agent定义一系列进行自动库存调度的工具

7.3.2 创建Plan-and-Execute Agent并尝试一个“不可能完成的任务”

7.3.3 完善请求，让Agent完成任务

7.4 从单Agent到多Agent

7.5 小结

第8章 Agent 5：知识的提取与整合——通过 LlamaIndex实现检索增强生成

8.1 何谓检索增强生成

8.1.1 提示工程、RAG与微调

8.1.2 从技术角度看检索部分的Pipeline

8.1.3 从用户角度看RAG流程

8.2 RAG和Agent

8.3 通过LlamaIndex的ReAct RAG Agent实现花语秘境财报检索

8.3.1 获取并加载电商的财报文件

8.3.2 将财报文件的数据转换为向量数据

8.3.3 构建查询引擎和工具

8.3.4 配置文本生成引擎大模型

8.3.5 创建 Agent以查询财务信息

8.4 小结

第9章 Agent 6：GitHub的网红聚落—— AutoGPT、BabyAGI和CAMEL

9.1 AutoGPT

9.1.1 AutoGPT简介

9.1.2 AutoGPT实战

9.2 BabyAGI

9.2.1 BabyAGI简介

9.2.2 BabyAGI实战

9.3 CAMEL

9.3.1 CAMEL简介

9.3.2 CAMEL论文中的股票交易场景

9.3.3 CAMEL实战

9.4 小结

第10章 Agent 7：多Agent框架——AutoGen和MetaGPT

10.1 AutoGen

10.1.1 AutoGen简介

10.1.2 AutoGen实战

10.2 MetaGPT

10.2.1 MetaGPT简介

10.2.2 MetaGPT实战

10.3 小结

附录A 下一代Agent的诞生地：科研论文中的新思路

A.1 两篇高质量的Agent综述论文

A.2 论文选读：Agent自主学习、多Agent合作、Agent可信度的评估、边缘系统部署以及具身智能落地

A.3 小结

参考文献

后记 创新与变革的交汇点