往期推荐
从为数百万用户构建企业级人工智能代理中汲取的经验教训第一次在内部演示智能代理时，感觉非常神奇。它能回答问题，生成像样的文本，有时甚至还能调用工具。但当你把它交给真正的企业用户，那些忙碌、缺乏耐心，且身处权限、策略和脆弱工作流程交织的环境中的用户时，神奇的感觉很快就变成了工程难题。 构建企业级人工智能代理通常被描述为一件简单的事情：选择一个强大的模型，将其封装在聊天界面中，然后让用户提问。但现实远比这复杂得多。一旦代理在企业级规模下运行，支持数百万用户、处理敏感数据并触发实际操作，它们就变成了分布式系统，并面临着所有相关的挑战：延迟、可靠性、评估、安全性和成本。规模化后，企业级代理不再是“模型加用户界面”，而是一个恰好包含大语言模型（LLM）的分布式系统。它继承了分布式系统的所有可靠性问题——超时、重试、尾延迟、部分故障、缓存过期、状态不一致——同时还引入了一种新的不确定性：随机推理和语言。 以下内容是我们在真实企业环境中构建和部署人工智能代理的过程中总结出的宝贵经验。这些并非理论上的最佳实践，而是系统在面对真实用户、真实流量和真实故障模式后才逐渐形成的架构经验。 [1] 优化延迟——快速响应赢得用户青睐企业用户将速度与能力划等号。即使响应正确，缓慢的响应也会让人感到不信任。实际上，用户记住的是最慢的体验，而不是平均体验。这使得尾延迟（P95 和 P99）远比平均响应时间重要。缓存是最有效的干预措施之一，但简单的缓存只能解决部分问题。当输入完全相同时，精确匹配提示缓存会有所帮助，但用户很少会用完全相同的词语表达相同的意图。基于嵌入相似性的语义缓存允许系统在意图基本相同时重用先前的结果。工具调用缓存同样重要：昂贵的检索、数据库查询和策略查找通常比模型本身更能影响延迟。 在一家企业理赔支持代理系统中，引入语义缓存后，后端模型调用次数减少了约 40%，中位响应时间从约 1.5 秒缩短到不到半秒。代理系统本身并没有变得更智能，但其处理能力却显著提升。 然而，缓存本身也带来了复杂性。如果没有明确的版本控制、新鲜度窗口和缓存清除策略，缓存的结果就会成为潜在的错误源。缓存失效仍然难以实现，但未加管理的延迟问题更为严重。 [2] 评估很重要——不要根据个例进行调整 最快破坏智能体稳定性的方法之一，就是根据零星的投诉对其进行调整。领导层升级通常只关注个别故障，但如果不进行系统评估，仅仅修复一个“个例”（n=1）很容易导致其他方面出现问题。 稳健的代理系统依赖于分层评估。静态测试集捕获关键任务用例，这些用例绝不能出现倒退。动态测试集模拟真实生产环境中的流量分布，确保即使出现极端情况，常见工作流程也能保持稳定。大型模型本身也越来越多地被用作评估器——LLM充当评判员——大规模地评估相关性、正确性或策略遵循情况。 在某企业支持系统中，人工评估很快成为瓶颈。引入LLM作为评判者进行评估后，覆盖率提高了一个数量级，并在回归问题影响生产环境之前就将其发现并解决。虽然这种方法并不完美，但它显著提高了迭代速度。 关键在于平衡。自动化评估必须以少量经人工验证的案例为基础，尤其是在合规性要求高或安全至关重要的领域。 [3] 何时需要微调，何时不需要微调 微调通常被视为解决模型误差的默认方案，但实际上它很少是首选或最佳手段。许多看似“模型问题”的故障实际上是响应、检索或工具选择方面的问题。 当拥有高质量的领域数据、知识库相对稳定，且故障遵循可预测的模式（提示无法解决）时，微调是有意义的。但在信息频繁变化的领域，例如定价、产品目录或政策规则，微调的效果则要差得多。 在一个金融领域代理中，频繁出现的工具错误分类最初提示需要进行微调。然而，改进的检索约束和更清晰的提示解决了超过 90% 的错误。微调带来的收益甚微，却在系统的其他方面引入了新的幻觉模式。 教训很简单：在更换模型配重之前，先尝试更便宜、更安全的杠杆。 [4] 投资数据反馈管道 一旦智能体上线运行，反馈就成为最宝贵的资产。生产系统会持续不断地产生各种信号：用户更正、重新表述、任务失败、升级到人工处理以及后续业务结果。这些信号不仅需要记录，更需要加以利用。 在一次部署中，用户反复将“查找我的发票”重写为“仅显示逾期发票”，这暴露出对意图理解存在偏差。将这种模式反馈到提示结构和内存管理中，显著改善了任务匹配度。 有效的系统会利用低置信度评分或异常工具使用等启发式方法，主动标记可疑交互。这些被标记的案例会直接进入改进流程，从而形成用户行为与系统演进之间的闭环。 [5] 可观测性——你的调试指南针 仅凭日志不足以调试代理程序。企业系统需要涵盖代理程序完整生命周期的相关观测数据：用户输入、规划步骤、工具调用、内存访问和最终响应。 当缺乏可观测性时，故障往往显得扑朔迷离。而当具备可观测性时，根本原因通常就显而易见了。将每次代理执行视为一个分布式跟踪——包含令牌使用情况、步骤级延迟和检索分数等信息——可以将调试从推测转变为诊断。 配备完善的观测系统还可以实现成本优化，揭示哪些昂贵的步骤几乎没有价值。 [6] 利用记忆和学习实现个性化 用户评判智能的标准是相关性，而非单纯的能力。能够记住用户偏好、过往行为或重复约束条件的智能体，即使底层逻辑没有改变，也会让人感觉更有帮助。 旅行社如果能记住用户的座位偏好或饮食禁忌，就能主动推荐合适的选项，减少摩擦，提升信任度。个性化服务并不需要深度学习系统；简单、精准的记忆功能往往能带来巨大的回报。 [7] 护栏——基础安全之外的必要措施 基础模型包含通用安全过滤器，但企业级防护机制则用于不同的目的。它们强制执行业务规则、合规性要求和领域约束。 代理代表品牌和系统行事，而不仅仅是用户。如果没有明确的安全措施，它们可能会生成看似合理但却违反合同或存在法律风险的输出结果。实时策略检查、受限操作和备用状态就像断路器一样，在有害行为扩散之前将其阻止。 多层防护措施——执行前检查、响应验证和人机交互升级——类似于安全工程中使用的“瑞士奶酪模型”：多个不完美的层组合成强大的保护。 [8] 智能认知架构——以目标为导向的设计，而非空洞的流行语 单一的提示系统扩展性差。企业级智能体可以从模块化的认知架构中受益，这种架构将规划与执行分离，并隔离记忆层。 规划器-执行器模式允许轻量级的规划组件概述步骤，而专门的执行器则负责处理检索、计算或操作。记忆也采用类似的分层结构，将短期会话上下文与领域知识和长期个性化信息分离。 这种解耦减少了令牌的使用，加快了推理周期，并使故障更容易定位。智能体系统涵盖了从单智能体规划器到复杂的多智能体生态系统。多智能体设计在可并行化的工作流程中表现出色，但由于协调开销，在顺序任务中往往性能不佳。 最新研究表明，多智能体带来的收益高度依赖于具体领域。如果工作流程基本呈线性，那么采用模块化组件的单个智能体通常速度更快、成本更低、也更容易调试。 代理人的角色应该明确，沟通应该尽量减少，只有在有可衡量的收益时才引入复杂性。 小结 企业级人工智能代理功能强大，但缺乏严谨性会导致系统脆弱。最成功的部署都具有一些共同特征：严格的延迟优化、系统化的评估、强大的可观测性、领域感知的安全防护措施，以及与实际工作流程而非趋势相符的架构。 精心设计的智能体可以成为人类团队值得信赖的延伸——快速、可靠且可预测。设计草率的智能体则会变成晦涩难懂的系统，引发怀疑而非信任。
