点击蓝字 关注我们
你是否曾与AI聊天时感到沮丧——每次对话都像是第一次见面,它完全不记得你之前的喜好、习惯或重要信息?这种"金鱼记忆"正是当前AI面临的核心挑战。而上下文工程(Context Engineering) 技术正在彻底改变这一现状。
什么是上下文工程?
No.1
想象一下,你是一位大厨,准备烹饪一道美味佳肴。上下文工程就像是备餐(mise en place) 的关键步骤——在开始烹饪前,精心准备所有高质量食材、专业工具,并明确最终呈现方式。如果只给厨师一份食谱(提示词),他可能只能用随机食材做出一般的菜品。但通过精心准备,他就能稳定产出出色的定制化成果。
在AI领域,上下文工程就是动态构建和管理LLM上下文窗口中信息的过程,使AI智能体能够记忆、学习并个性化互动。
会话(Sessions):AI的"工作台"
No.2
会话是上下文工程的基础元素,它封装了与智能体单次连续对话的即时对话历史和工作记忆。每个会话都是自包含的记录,与特定用户绑定。
会话的核心组件
事件(Events):对话的构建块,包括用户输入、智能体响应、工具调用等
状态(State):结构化的工作记忆,保存与会话相关的临时数据
不同的AI框架以不同方式实现会话管理:
ADK框架:使用明确的Session对象,包含事件列表和独立的状态对象
LangGraph框架:状态就是会话,使用可变的状态对象管理所有工作数据

生产环境中的会话管理
No.3
当智能体进入生产环境时,其会话管理系统必须从简单日志演变为强大的企业级服务。关键考虑因素包括:
安全与隐私
严格隔离:确保用户无法访问其他用户的会话数据
PII信息编辑:在数据写入存储前编辑敏感信息
身份验证:每次请求都必须进行身份验证和授权
数据完整性与生命周期管理
TTL策略:自动删除非活动会话以管理存储成本
数据保留政策:明确定义会话保存时间
事件顺序保证:维护事件的时间顺序完整性
记忆(Memory):AI的"长期记忆库"
No.4
如果说会话是AI的临时工作台,那么记忆就是精心组织的文件柜,实现跨多个会话的长期持久化。
记忆的类型与价值
记忆系统将基本聊天机器人转变为真正智能智能体的关键能力:
个性化体验
记忆用户偏好、事实和过去的互动,为未来响应量身定制。例如记住用户喜欢的运动队或飞机座位偏好。
上下文窗口管理
当对话变长时,记忆系统可以通过创建摘要或提取关键事实来压缩历史,减少令牌使用量和延迟。
数据挖掘与洞察
通过分析存储的记忆(以聚合、保护隐私的方式),可以从噪音中提取洞察。
智能体自我改进
通过创建关于自身性能的程序性记忆,智能体可以建立有效解决方案的"剧本"。

记忆的生成:提取与整合
No.5
记忆生成是自主将原始对话数据转化为结构化、有意义洞察的过程:
提取阶段
目标是回答基本问题:"对话中的哪些信息重要到值得成为记忆?"这不是简单的摘要,而是有针对性的智能过滤过程。
整合阶段
将新信息整合到连贯、准确、不断发展的知识库中。这是记忆生命周期中最复杂的阶段,解决信息重复、冲突信息、信息演进等挑战。
会话与记忆的协同工作
No.6
会话和记忆保持着深刻的共生关系:会话是生成记忆的主要数据源,而记忆是管理会话大小的关键策略。
智能体需要两者兼备
RAG引擎 就像研究图书馆员,提供世界事实的专业知识
记忆管理器 就像个人助理,记录特定用户的互动细节
真正智能的智能体需要两者:RAG提供对世界的专家知识,而记忆提供对其服务用户的专家理解。
生产环境中的内存管理
No.7
将支持记忆的智能体从原型过渡到生产需要关注企业级架构问题:
异步处理架构
内存生成是昂贵的操作,需要LLM调用和数据库写入。在生产中,内存生成应几乎始终作为后台进程异步处理。
可扩展性与弹性
系统必须处理高频率事件而不会失败,使用事务性数据库操作或乐观锁定来缓解竞争条件。
全局应用支持
对于全球应用程序,内存管理器必须使用具有内置多区域复制的数据库,确保低延迟和高可用性。
隐私与安全考量
No.8
内存源自用户数据并包含用户数据,因此需要严格的隐私和安全控制:
数据隔离
内存必须严格在用户或租户级别隔离,使用限制性访问控制列表(ACL)强制执行。
用户数据控制
用户必须具有对其数据的程序化控制权,具有选择退出内存生成或请求删除其文件的明确选项。
安全防护
系统必须包含防护措施,如模型装甲(Model Armor),在信息提交到长期内存之前验证和清理信息。
未来展望
上下文工程代表了AI发展的一个重要转折点。通过会话和内存技术的结合,我们正在构建能够真正理解上下文、记住用户偏好、并随着时间学习进化的AI系统。
这项技术不仅让AI对话更加自然流畅,更重要的是为真正个性化、持续性的AI体验奠定了基础。从客户服务到个人助理,从教育辅导到医疗咨询,具备长期记忆能力的AI将在各个领域发挥革命性作用。
随着上下文工程技术的成熟,我们可以期待AI不再是无状态的工具,而是能够建立长期关系、理解用户需求、并提供真正个性化服务的智能伙伴。
本文基于Google发布的《Context Engineering: Sessions, Memory》技术白皮书,更多技术细节请参阅原文文档。
往期回顾
---------------------------------
南京欧帕提亚信息科技有限公司
地址:南京市江宁区天元西路59号银城INC中心
电话:13921197961(微信同) 19005444324
邮箱:owen9020@126.com
珠海欧帕提亚信息科技有限公司
地址:珠海市香洲区正方云溪谷A座1803
手机:13921197961
邮箱:owen9020@126.com
---------------------------------
湖南云数仿真信息技术有限公司
地址:长沙市高新开发区芯城科技园一期2栋
手机:15345188568
邮箱:owen9020@126.com
---------------------------------


