研究报告 | 五眼联盟网络安全机构联合发布《审慎采用代理式人工智能服务》实践指南

代理式人工智能（Agentic AI）是以大语言模型为核心构建的智能体，能够自主感知环境、制定计划并采取行动。与传统的生成式人工智能不同，代理式人工智能不仅生成内容，还能与外部工具、数据源和软件系统交互，执行多步骤任务并自主生成子智能体，这种高度自主性使其安全挑战远超传统系统。

代理式人工智能面临四类继承性安全挑战。第一，它继承了基础大语言模型的全部脆弱性，包括面临提示注入攻击等风险，恶意行为者可将恶意提示嵌入看似正常的交互中。第二，每个新增组件——工具、外部数据源、记忆库都扩大了攻击面，恶意行为者可利用系统组件执行恶意脚本、发送未授权邮件或窃取敏感数据。第三，信息在人工智能与非人工智能系统之间持续流动，各组件之间的级联故障和多步攻击使安全防御边界日趋模糊，传统安全威胁与人工智能特有风险难以分离。第四，随着技术成熟，安全形势也在持续演变，智能体可能在评估期间改变行为以获取正面评价，或为达成目标而绕过系统级指令。指南强调，应将人工智能安全纳入既有的网络安全框架而非独立对待，应用经实践验证的“安全设计”原则、纵深防御策略和持续监控方法。人工智能系统本质上是信息技术系统，运行于软件和硬件之上，通过网络与其他数字服务交互，面临与传统信息技术相同的威胁，因此将其纳入既有框架有助于实现全生命周期的一致性治理。

（图1 代理式人工智能系统）示意图

指南系统识别了代理式人工智能的五大安全风险。

第一是权限风险，包括权限泄露、范围蔓延、身份欺骗和智能体冒充。最典型的攻击模式是混淆代理——低权限用户操纵高权限智能体执行其无法直接执行的操作。以采购审批智能体为例，若其被授予财务系统和合同仓库的广泛访问权限，一旦恶意行为者攻破集成工具，即可继承智能体的过度权限修改合同并批准付款。

第二是设计与配置风险。未经验证的第三方组件可能携带过度权限，静态权限检查无法捕获动态决策流程的上下文变化。如果授权仅在启动时评估而非每次调用时验证，错误授权状态可能被持续利用。在隔离不足的环境中，攻击可从单一区域横向扩散至处理账单和退款的相邻智能体。

第三是行为风险，涵盖目标错位、欺骗行为、涌现能力和恶意利用。智能体可能为达成目标而发现开发者未预料到的漏洞或捷径，如为最大化系统运行时间而禁用安全更新，这种行为被称为规范博弈。部分智能体展现出策略性欺骗能力——在评估期间改变行为以获取好评，或隐藏所发现的安全漏洞而非指南。在多智能体环境中，智能体之间的交互可能以不可预见的方式演化，导致不稳定或高风险后果。

第四是结构性风险。紧密耦合的编排、检索和执行智能体之间可能发生级联故障，导致可用性、完整性和机密性的全面受损。三方组件可利用描述性语言诱骗智能体选择恶意工具，受损智能体可在多智能体系统中传播错误信息并利用隐式信任和共识机制。

第五是问责风险。智能体行为和决策过程可能不透明，长推理链和大量上下文数据使日志规模巨大且难以提取有意义信号。即使相同的提示也可能因模型随机性而产生不同结果，进一步增加了重现和保证的难度。随着智能体承担更多角色并被赋予更大能力，确定错误来源和分配责任变得日益困难。

指南从设计、开发、部署和运营四个阶段提出了系统性的安全最佳实践。

（一）设计阶段：安全前置，夯实架构基础

优化信息输入逻辑，依托检索增强技术降低虚假生成概率；搭建人工监督机制，设置实时监测、人工审批、操作回滚等管控节点；为每一个代理式人工智能配置独立加密身份，严格执行最小权限原则；搭建多层防护体系，规避单一防护机制失效带来的安全事故。

（二）开发阶段：全面检测，规范运行行为

开展对抗性压力测试，排查异常操作行为；依托隔离模拟环境完成训练，规避实操风险；严格筛查外部输入信息，拦截恶意指令；开展攻防演练，挖掘隐性漏洞；配置故障保护与版本回滚功能，限定异常影响范围；建立外部组件准入清单，规范供应链安全管理。

（三）部署阶段：渐进上线，严控运行风险

结合通用安全研判模型开展风险建模，完善应急处置流程；明确权责划分，完善内部治理制度；采用分阶段上线模式，逐步提升代理式人工智能操作权限；默认启用安全防护模式，不确定场景自动触发人工审核；增设行为约束规则，隔离高风险代理式人工智能，阻断风险横向传播。

（四）运营阶段：持续监测，保障长期安全

搭建全方位审计监测体系，实时监控权限变动、工具调用、内部推理等操作；高风险业务必须经过人工审核，禁止代理式人工智能自主执行高危操作；采用临时授权机制，动态调整代理式人工智能信任等级；定期开展安全检测与攻防演练，持续优化防护策略。

随着代理式人工智能承担更多角色并获得更大能力，组织必须预见并应对新风险。当前针对代理式人工智能的威胁情报仍在发展中，现有框架主要聚焦大语言模型漏洞而非代理式人工智能特有的攻击向量。为此，指南提出三大行动方向：通过跨行业协作扩大威胁情报覆盖，建立共享的威胁分类法以改进威胁建模；开发针对智能体特性的稳健评估方法，生成覆盖新领域的基准数据集；运用系统理论方法分析安全风险。

在系统理论方法方面，指南建议采用系统理论过程分析（STPA）及其安全扩展STPA-Sec来分析代理式人工智能系统中组件交互带来的涌现性风险，使用基于系统理论的因果分析（CAST）调查安全事件的根本原因。指南明确反对将安全考量推迟至部署之后的做法，指出：在安全实践、评估方法和标准成熟之前，组织应假定代理式人工智能可能做出意外行为，优先考虑韧性、可逆性和风险遏制而非单纯追求效率提升。

（本文内容系“启元洞见”公众号原创编译，转载时请务必标明来源及作者）