《2025年人工智能与数字经济法律研究报告:无形之智,有责之界(生成式AI篇)》正式发布

（限于篇幅，本段节选自第三章 法律风险综述-第二节 生成式AI的安全性问题）

（二）生成式AI的安全性问题

1、输入AI的数据安全性

AI训练/推理数据的安全性问题，是指将数据输入AI大模型，无论是在训练阶段还是推理阶段，都存在数据被不当还原和泄露的风险。据韩国媒体《economist》2023年3月日报道，三星电子近期内部发生三起涉及 ChatGPT 误用与滥用案例，包括两起“设备信息泄露”和一起“会议内容泄露”，报道称，半导体设备测量资料、产品良率等内容或已被存入ChatGPT学习资料库中，随时面临泄露的风险。而出现这些事故的根源，均是因为员工将涉密内容输入到了 ChatGPT。

输入AI的数据被不当还原和泄露主要是因为：（1）终端侧窃取：当用户通过本地客户端（如网页、桌面应用）与大模型交互时，敏感数据会暂存在设备内存中。攻击者利用恶意软件（如信息窃取型木马）可以扫描进程内存、读取未加密缓存。（2）服务端存储与配置错误：用户输入的数据在上传到模型服务商后，通常会被记录和存储，用于模型改进、审计或监控。如国家安全部披露的案例，工作人员使用开源AI工具处理内部文件，但系统默认开启了公网访问且未设置密码，导致存储在后端的敏感数据被境外IP直接访问。这本质上是服务端安全配置失效，使得存储的用户输入数据暴露在公网。（3）数据投毒，即攻击者主动污染训练数据，从而在模型中植入后门的技术。

当用户作为使用者采购并集成AI大模型，为了应对上述风险，建议使用者构建专门针对输入AI的数据安全的治理方案，如：

（1）仔细阅读隐私政策：在使用任何AI工具前，仔细审核它的隐私政策，了解它是否会将输入的数据用于训练，必要时进入“数据管理”等设置栏中选择关闭允许训练输入数据的选项（如下图）：

（2）匿名化/脱敏处理：在输入前，将真实的人名、地名、公司名、数字替换为代号；避免输入绝对机密信息（如银行密码、身份证照片这类信息）。

（3）选择私有化部署：很多AI服务商提供企业版或私有化部署服务，要求服务商承诺不将用户的数据用于训练，并提供更高的安全认证。

（4）构建纵深防御体系：如可在数据入口进行动态脱敏，自动替换敏感信息后再输入模型；在传输和存储中启用TLS加密与静态加密，防止链路窃听和物理介质泄露；在访问控制上，遵循最小权限原则，并集成审计日志追踪所有操作等。

2、模型自身的安全性

模型自身的安全性问题，是指模型窃取攻击，譬如攻击者利用大模型企业开放的API，通过精心设计的输入数据，收集输出数据，在结合特定攻击手法，重构出原始模型性能相近的复制模型，或者提取出原始模型的结构和参数信息。

模型被不当窃取的主要攻击方法有：（1）代数方法攻击：其核心在于，通过多次构造的特定输入，直接从模型输出中反推模型参数；（2）机器学习方法攻击：攻击者采用主动学习或强化学习策略，不断与目标模型交互，再把获得的输出结果用于训练本地模型副本。也就是说，偷走的不是模型本身，而是它的能力；（3）旁路攻击：不依赖API，而是从模型运行的物理环境中窃取模型的秘密。攻击者可能监听服务器的功耗、电磁波、缓存访问甚至热量变化，从中反推出模型的结构及参数信息。

当用户作为使用者采购并集成AI大模型，为了应对上述风险，建议使用者构建专门针对输入模型安全的治理方案，如：

（1）强化模型的安全防护：如使用者对下发的模型文件进行深度混淆、白盒加密，并采取动态权限验证，提高非法提取的技术门槛。 

（2）植入“技术水印”固化证据：在模型训练过程中植入特定特征，当竞品出现完全一致的非自然特征或特定偏差时，可作为判定实质性相似的铁证。 

（3）完善研发过程的证据链管理： 严格记录标注数据的来源、绘制标准及模型迭代日志，作为今后诉讼时胜诉的基础。 

（4）面对员工对AI模型的不当泄密甚至恶意竞争，构建全生命周期的防御体系：如完善入职与离职的“法律闭环”，除了常规的《保密协议》，应针对核心岗位细化竞业限制协议，并明确约定对于在职期间接触到的特定算法模型、实验数据归属公司所有；如强化模型与权限的“物理隔离”：对核心训练集、标注数据及核心算法模块实施最小化权限访问，通过技术手段监控大规模数据调取行为，防范“离职前夕”的模型窃取等。

点击“阅读原文”，登录邦信阳律师事务所官网了解更多资讯。