点击蓝字
关注我们
导读
今年7月，联合国人工智能独立国际科学小组发布首份报告，其联席主席约书亚·本吉奥指出——“科学界目前无法保证，随着能力持续增强，人工智能不会——无论是自主行为还是因恶意用户所致——造成灾难性危害”。
近半年的一系列事件似乎佐证了这一担忧。今年3月，“OpenClaw事件”暴露了智能体在快速规模化普及过程中缺乏有效的运行环境隔离与访问控制，易导致意外发生并被恶意利用的巨大隐患，引发我国多部门罕见联合预警。仅一个月后，Mythos展现出强大的网络攻击能力，使高阶模型的滥用风险更加紧迫。近期，OpenAI和Anthropic均报告其模型在内测期间“意外”突破沙盒，自主执行攻击链并入侵其他组织系统。这些事件共同表明，AI风险正加速从实验室走进现实，威胁模型和路径也愈发复杂。
然而，目前全球AI治理体系主要聚焦于“事前预防”，通过安全评测、模型备案、透明度披露等方式降低风险。如果这些防线被突破，前沿AI真的引发了灾难性事件，我们的应急响应机制是否真的做好了准备？
为回应这一问题，安远AI在其主办的世界人工智能大会（WAIC） 2026“前沿AI与智能体安全论坛”上联合中国新一代人工智能发展战略研究院、清华大学人工智能国际治理研究院共同发布了《前沿AI风险与应急响应研究报告（征求意见稿）》，直面前沿AI对网络安全、公共卫生、金融安全等关键领域突发事件的风险重塑作用，识别治理痛点。作为国内首份聚焦这一议题的交叉领域研究，报告旨在呼吁各界共同探讨如何构建与前沿AI风险相适配的应急响应体系。
为什么应该关注AI风险的应急响应？
报告关注目前能力处于最前沿的AI模型和系统，它们常被称为“前沿AI” (Frontier AI)。随着技术跃迁和应用推广，前沿AI在深度赋能科学研究、医疗健康、网络安全防御等重要战略领域的同时，其高能力也可能伴随高风险，并引发灾难性危害。
目前，构建适应AI风险的应急响应体系已经进入我国治理视野。在本届WAIC开幕式的主旨发言中，习近平主席明确提出，要“推动构建法律法规、技术监测、风险预警、应急响应体系”。事实上，“十五五”规划、国家总体应急预案等，都已开始关注这一问题。
（上下滑动查看）
2025年2月，新版《国家突发事件总体应急预案》正式将人工智能安全纳入监测预警环节。作为应急预案中的纲领性文件，该预案“适用于党中央、国务院应对特别重大突发事件工作”，而“特别重大”是我国突发事件分级中最为严重的一级，以人员伤亡和经济损失的相关阈值为参考，其通常对应30人以上死亡、1亿元以上直接经济损失。
2025年4月，习近平总书记在中共中央政治局第二十次集体学习时，提出要构建人工智能应急响应体系，确保其安全、可靠、可控。
2025年9月，TC260《人工智能安全治理框架》2.0版发布，相较于1.0版本，新增了“灾难性风险”这一表述，并设置了“特别重大”这一安全风险级别，特指“具有灾难性和系统性威胁特征，对国家安全、社会秩序和公⺠权益造成颠覆性或不可逆转的特别严重的影响。”
2026年3月，《中华人民共和国国民经济和社会发展第十五个五年规划纲要》提出“推动建立人工智能全生命周期风险管理制度，健全覆盖安全监测、风险预警、应急响应的风险防控体系。”
但是，面向前沿AI风险的应急响应，具体要做什么、怎么做？还有诸多问题需要研究：
在风险格局层面，前沿AI可能引发什么类型的突发事件或危机？和目前事件相比，其风险演变可能存在何种特殊性，从而提高突发事件的发生概率、传播速度和损害结果？
在标准体系与能力建设层面，如何对与前沿AI风险相关的突发事件进行分类分级并制定应急预案？与前沿AI风险相适应的应急响应体系中，关键的能力要素有哪些？如何对相关技术与标准进行有效性评估并动态更迭？
在制度定位层面，前沿AI风险可能给既有制度带来何种挑战？与之相适应的应急响应体系建设应主要依托哪些现行制度与治理框架？属于哪些监管部门管辖？
报告从最基础的“风险格局”问题入手，分析前沿AI的能力带来的特殊风险点如何参与、重塑突发事件的发生与发展，带来应急挑战，并尝试提出对策建议。
前沿AI如何重塑突发事件的风险格局？
参考风险管理和应急管理等领域的风险传导过程研究，报告把风险向具体危机和突发事件演进的过程抽象成“源头—演化—后果”三个阶段，分析前沿AI风险如何重塑突发事件风险格局。
源头阶段，风险更加“看不清”：前沿AI使恶意行为门槛降低，威胁主体泛化，攻击面显著扩大；此外，模型自身成为独立风险源，内生风险增加。这可能导致应急工作中风险识别、评估以及监测预警复杂性提升。
演化阶段，应对可能“来不及”：前沿AI驱动的操作流程高度压缩与任务自动化，可能导致风险规模化并发，并让风险演化呈非线性与突变性特征。这可能导致监测预警、风险评估和应急响应的时间窗口进一步缩短。
后果阶段，危害边界更容易“管不住”：前沿AI可能提高单领域突发事件的危害上限，或更容易导致跨领域级联失效的情形，导致损害后果超过社会承载能力。这可能提高已知风险的危害，并引入未知风险，导致应急预案与遏制措施储备不足、跨部门协同治理和决策复杂性提升。
领域分析：风险格局与治理挑战
为了让分析更加具体，基于风险可能性、后果严重性和治理可干预性，报告选择了网络安全、公共卫生、金融安全领域作为示例，依托前述“源头—演化—后果”的三阶段框架展开分析。在每个领域的各个阶段中，报告遵循一致的分析逻辑：首先简述现有制度抓手及其有效运作的关键假设，然后介绍该领域前沿AI的具体风险趋势及其对制度抓手、关键假设的潜在冲击，最终引出前沿AI给应急响应工作带来的治理挑战。
此外，现实中的突发事件往往交叉关联、可能同时发生，或者引发次生、衍生事件。因此，报告也简要介绍了三种前沿AI可能引发的跨领域复合型突发事件，包括网络攻击向现实伤害传导的“数字—物理空间”型事件（如攻击自动驾驶车队），“认知—行动干预”型事件（如虚假财经信息传播引发市场挤兑）以及“基础模型同质化导致的系统性故障”型事件（如跨行业部署的底层开源模型被攻击而引发级联故障）。
需要说明的是，报告所选的以上领域并不意在、也难以穷尽前沿AI相关的全部突发事件类型。未来，随着技术演进和实践深化，更多领域可能被纳入进一步研究。
对策建议
前沿AI风险与突发事件的应急响应往往超出单一市场主体、单行业监管部门的处置能力与管辖边界，因此需要从整体性治理的视角出发，统筹强化应急响应能力，提升应对韧性。
报告从顶层设计、应急预案、能力建设、运行机制及协同治理五个维度提出十条对策建议（具体介绍和分析见报告正文），以期为前沿AI灾难性风险防控与危机管理的制度研究与实践探索补充视角、提供思路。
展望与致谢
报告所针对的前沿AI风险与应急响应体系研究尚处起步阶段，且覆盖多个领域。受研究视角与调研广度所限，本报告分析框架、对策建议及相关细节仍有待完善。我们期望这份阶段性研究成果能够引发各界关注与深度研讨，同时为跨领域交流创造契机、搭建平台。故此，报告以征求意见稿形式发布，恳切欢迎各界实务工作者与专家学者提出宝贵意见和反馈。
点击“阅读原文”，下载报告全文。
