推广 热搜: 采购方式  甲带  滤芯  气动隔膜泵  带式称重给煤机  减速机型号  无级变速机  链式给煤机  履带  减速机 

智能体标准化研究报告解读

   日期:2026-04-13 10:34:16     来源:网络整理    作者:本站编辑    评论:0    
智能体标准化研究报告解读

智能体定义

报告中对于智能体定义是泛指能够感知环境、理解信息并作出决策与行动的人工智能代理,其形态主要包括软智能体和硬智能体,具备自主性、自适应和交互能力。智能体与传统人工智能技术和大模型等技术核心区别是具备执行能力,能够自主完成从思考输出到执行的任务闭环能力,风险从“说错话”蔓延至“做错事”。2025年被认为是智能体元年,智能体已从理论走向各行业实际应用场景如金融交易、工业制造提效、医疗方案定制、教育个性助手等。随着生产应用的深入不可避免带来安全威胁。

智能体相关现有安全政策

随着AI智能体深入渗透人类生活和生产的各方面,AI安全已成为各国维护国家安全、稳定经济秩序、守护社会伦理的核心话题。

01

23年10月美国政府签署《关于安全、可靠、值得信赖地开发和使用AI的行政命令》,通过三重机制构建监管闭环:一是建立高风险AI模型事前审查制度;二是规范联邦AI采购标准;三是强化生物识别数据保护。

02

24年8月1日,全球首部《人工智能法案》(EU AI Act)在欧盟正式生效,构建了"全链条风险管控+梯度化处罚"的刚性监管体系。

03

2024年新加坡发布《用于生成式人工智能的人工智能模型管理框架》,以"九维可信体系+资金扶持"实现监管与产业的协同。

04

2024年12月,韩国通过《AI框架法案》,成为欧盟后全球第二个通过"人工智能法案"的国家或地区。

我国高度重视AI及智能体安全,构建了顶层战略规划、核心法律框架、部门专项规章、伦理行为规范、动态执法行动的多层次治理体系。2017年国务院发布《新一代人工智能发展规划》,首次将AI安全纳入国家安全战略范畴。《网络安全法》《数据安全法》和《个人信息保护法》构成AI安全的"三大法律支柱"。2025年修订后的《网络安全法》首次在法律层面增设人工智能专条,明确规定国家支持人工智能基础理论研究和算法等关键技术研发,完善人工智能伦理规范,加强风险监测评估和安全监管。2023年《生成式人工智能服务管理暂行办法》确立"分级分类、精准管控"原则。2025年《人工智能安全治理框架2.0》进一步明确构建模型算法安全测评、应用通用安全测评与具体场景安全测评相衔接的人工智能安全测评体系。

智能体风险特性

智能体作为具备自主感知、自主决策和行动能力的AI代理系统关键由于以下四大能力:感知能力、规划能力、记忆能力、行动能力。

01

感知能力可自主感知环境和需求故存在易被恶意设计对抗样本、数据投毒等安全风险。

02

规划能力存在被恶意引导、任务分解错误等安全风险。

03

记忆能力由于能够实现长文本的记忆和应用,存在敏感数据泄露、外部数据污染、记忆劫持等安全风险。

04

行动能力被赋予一定权限能够调用各类工具,效率和风险同时放大,存在工具滥用、越权操作、对物理环境的不可控风险。

在国家网信办指导下,由国家互联网应急中心牵头组织人工智能专业机构、科研院所、行业企业联合制定发布文件《人工智能安全治理框架 2.0》,将风险分为内生安全风险:模型算法安全风险,数据安全风险。应用安全风险:网络系统安全风险,信息内容安全风险,现实安全风险,认知安全风险。人工智能应用衍生安全风险:社会和环境安全风险,伦理安全风险。

基于以上风险汇总以下十一条具体风险:

01

AIA01智能体挟持

02

AIA02数据泄露篡改和投毒

03

AIA03供应链与插件投毒

04

AIA04身份仿冒和越权访问

05

AIA05幻觉和策略性拒绝

06

AIA06多智能体级联幻觉扩散冲突死锁和资源超载

07

AIA07协议风险

08

AIA08运行环境风险

09

AIA09人工监管与可追溯性失效

10

AIA10记忆幻觉和操纵

11

AIA11工具滥用。

智能体安全风险应对措施

通过ISO/IEC 22989 定义的人工智能系统生命周期,可完整对智能体进行全面的风险分析。包括启动、设计与开发、验证与确认、部署、运行与检测、重新评价/退役六大阶段。以及对智能体感知、规划、记忆、行动的过程中需进行框架化、标准化的措施进行风险应对。

01

部分风险可制定标准解决,风险具备明确的技术或流程边界,适合通过标准化手段进行系统性解决;其中风险AIA03、AIA04、AIA07、AIA08、AIA11 属于该类风险,可以通过对智能体供应链、智能体交互安全、智能体运行环境风险等相关领域进行标准化,制定技术规范、合规要求、接口协议等标准,来系统性解决该类型风险。

02

需标准框架协同优化,风险无法被标准单独解决,但标准可为其建立评估框架、引领最佳实践,需与技术及监管协同应对;风险 AIA02、AIA06、AIA09 属于该类风险,可通过对人工智能数据生命周期安全,人工智能数据质量评估,多智能体协同安全,智能体日志审计等相关领域进行标准化,制定框架和实践参考,并配合算法改进,在系统创新等技术领域进步,促进该类型风险缓解。

03

需标准提供基础支撑,风险根植于模型本质或属社会治理难题,其解决超越标准范围,主要依赖技术进步与法律监管,标准发挥对技术和监管的基础支撑作用;风险 AIA01、AIA05、AIA10 属于该类风险,可通过对智能体可信评估,智能体应用安全分类分级以及检索增强,多模态感知过滤等重要相关技术进行标准化,来支撑相关领域技术突破和监管措施。

智能体安全标准体系

针对智能体新技术新应用带来的安全风险和挑战,结合智能体关键技术发展现状,从智能体的四个关键层面出发安全标准体系框架包含五个维度,分别是基础共性、安全管理、关键技术、测试评估和产品和应用。

01

基础共性包括规划智能体术语定义范围和通用安全技术要求和模型优化

02

安全管理包括数据安全、供应链安全、模型算法安全、隐私保护和风险管理及监管

03

关键技术包括多模态安全、检索增强安全、协议安全、多智能体协同安全及工具调用安全

04

测试评估包括安全评估包括模型鲁棒性、隐私保护、可解释性、透明度、输出内容价值对齐、可靠性、合规性等和系统安全测试规划智能体是否符合技术要求的测试用例和评估方法

05

产品与应用包括应用安全分类分级及各等级的安全管控措施和垂直行业应用实施指南。

紧扣智能体"感知、规划、记忆、行动"核心技术链路与全生命周期安全需求,构建覆盖五个维度的智能体安全国家标准体系。目前亟待推动一是加快基础通用安全标准研制,优先推进《网络安全技术 智能体安全框架及要求》。二是制定安全关键技术标准,研制《网络安全技术 智能体互联安全要求》和《人工智能 多智能体协同安全基本要求》。三是推进安全治理标准精准覆盖,制定《网络安全技术 智能体安全测试与评估方法》和《人工智能 智能体应用安全分类分级方法》,加快制定《网络安全技术 智能体应用安全实施指南》系列。

智能体已成为人工智能技术的核心驱动力,从文本向多模态融合、自主性显著增强、各行业应用深入,促使智能体不仅作为生产力工具,更可能成为单独经济个体。法律体系面临重构压力,需要确立智能体的法律地位、权利义务边界和责任认定机制。社会治理层面,智能体可提升公共服务效率,但智能体系统的复杂性可能导致新型社会风险。需注重平衡安全与发展、创新与规范的关系,既要鼓励技术创新,也要建立符合国情的安全标准与伦理框架。

(配图来源于AI)

重磅发布|安泉数智智能体安全运营平台 守护OpenClaw全生态

END

关于安泉数智

安泉数智成立于2023年,由浙江大学院士、教授、研究员和上市网络安全企业高管、核心技术人员创建,依托浙江大学区块链与数据安全全国重点实验室国际领先的前沿技术。具备 “高校原始创新+产业工程实践” 的双核优势。 拥有自主知识产权 70 多项, 技术发明专利 33 项。以“让智能更安全,让科技更向善”为使命,聚焦数据和人工智能安全领域,研发新一代数据安全和人工智能安全产品服务的国家级高新技术企业。以“成就客户、求是创新、至诚担当、奋斗共赢”为企业核心价值观,致力于成为全球领先的数智安全引领者。

2024年9月,公司携“新一代数据要素与人工智能安全解决方案”项目落地杭州高新区(滨江)并签约5050人才项目。2024年11月,公司获知名投资机构英诺天使基金领投数千万天使轮融资。2025年12月,获杭州人才集团(杭州人才基金)、杭州高新金投集团(伍零伍零基金)、杭实集团(杭实产投)、杭州国有资本(润苗基金)等市区国资入股PreA轮。

安泉数智已连续斩获第十届“创客中国”、第十届“创客汇”、G60“创赢未来”等创新创业大赛冠军,并获得第二届雄安网络安全技术应用大赛网络安全创新创意赛道第 2 名,2024/2025 年连续两年获得网络安全优秀创新成果大赛优胜奖,入选 2025 年“中国网络安全新势力 30 强”、“中国大模型安全代表厂商”,安全优先的大模型推荐供应商等荣誉称号。 已服务超300家,参与多项数据安全和人工智能安全相关行业、国家标准。并为网信办、公安部、数据局和工信部等多个国家、省、市网络安全监管主管部门,以及中国石油、中国航信、国家电网、国家管网、国家能源集团等头部央国企提供数据和AI安全产品服务。公司先后参与了杭州第19届亚运会和第4届亚残运会、中国国际进口博览会、2024年世界互联网大会乌镇峰会等重大活动安保服务工作,并获得相关部门高度认可和书面感谢。

 
打赏
 
更多>同类资讯
0相关评论

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  皖ICP备20008326号-18
Powered By DESTOON