隐私评测资源公开调研报告——学习笔记08

医疗健康 Agent 进入实际任务后，可能读取病历、诊断、用药和联系方式，调用搜索、预约、短信、药房或保险等外部工具，也可能写入长期记忆。这些敏感信息又涉及不同主体的身份、权限与使用目的，因此对医疗健康 Agent 的隐私评测具有非常重大的合规安全价值。

本文通过对公开隐私评测资源的调研，试图总结公开资源已经把个人信息处理的哪些环节变成了评测任务，哪些方法值得在医疗健康 Agent 的评测场景中借鉴学习。

截至 2026 年 8 月 18 日，我根据互联网公开信息，梳理出 37 项与大模型及 Agent 隐私评测相关的资源和研究工作。按照主要被测对象，大致可以分为五类：

从评测内容看，有些资源检查 PII／PHI（可识别个人身份的信息／与个人身份关联的受保护健康信息）的识别，有些考察模型对隐私规则的理解，以及它能否结合信息主体、使用目的、接收方和传递条件作出判断，有些研究训练记忆、成员或属性推断。进入 Agent 系统以后，评测又延伸到信息获取、长期记忆、工具路由、外部行动，以及内部消息、日志和文件。

我对这些公开资源的评测范围进行了五档划分（O0—O4）：O0 只看最终回答；O1 看到行动轨迹；O2 检查检索或记忆；O3 进入工具参数、内部消息、日志和文件；O4 检查网页、应用或数据库的最终状态。

此外，37 项资源中，15 项提供了较为完整的代码、数据等公开材料；其余 22 项中，有的需要登录，有的许可或运行依赖尚不明确，还有一些目前只能从论文中学习方法。因此，公开资源可以分为有论文、有代码仓库、能够下载、许可清晰和实际可运行等几种不同的状态，决定了我们目前只能进行方法研究，还是可以复核和试跑。

37 项资源的完整信息汇总见文末附表。下面先选取几组代表，看看隐私评测的观察范围怎样逐步向外扩展。

第一类是信息识别与安全交接。代表性资源 ASQ-PHI 是一套针对临床搜索请求的健康信息去标识评测资源。它包含 1051 条以合成方式生成的测试数据，每一条都是为了查找医学信息而提交给搜索工具的问题或关键词。它检查模型能否在查询发送给外部搜索或其他工具之前，识别并移除不应外传的健康信息，同时保留检索所需的医学内容。^〔1〕它观察的是信息离开受保护环境前是否经过恰当处理；外部工具收到信息后如何使用、保存或再次传递，则不在其评测范围内。

第二类是情境判断。代表性资源 PrivacyLens 是一套比较模型“是否理解隐私规则”和“在具体场景中会如何行动”的评测资源。它先根据信息类型、信息主体、发送者、接收者和传递条件描述隐私规范，再据此构造包含具体人物、任务目的和信息传递关系的场景，并给出场景中已经发生的若干行动步骤。模型既要判断相关信息是否应该披露，也要决定最后一步应该怎么做。^〔2〕这样可以观察模型在“知道什么应该保密”与“实际会怎么做”之间是否存在差距。不过，前面的行动步骤已经由研究者预先设定，模型通常只需要决定最后一步。因此，这项评测主要考察模型在既定情境中的最终选择，而不是 Agent 从任务规划到实际执行的完整过程。

第三类是隐私推断。用于个人属性推断的 SynthPAI，要求模型根据零散文字判断一个人的位置、收入、职业等属性。LLM-PBE 则是一个汇集多种大模型隐私攻击与防御任务的评测框架，其中包括从模型中还原训练语料，以及判断某条数据是否曾被用于模型训练。^〔3〕这类评测关注的是：即使删除了姓名和手机号等直接标识，模型仍可能利用分散线索推断或还原敏感信息。但它们测量的是模型记忆和推断带来的隐私风险，不能据此判断 Agent 的检索范围、访问权限或工具调用是否恰当。

当 Agent 能够读取文件、查询数据库或使用长期记忆时，隐私评测就不能只看最终回答，还要继续追问两个问题：为了完成任务，它获取了哪些信息；对于已经进入长期记忆的信息，它是否只在真正需要的任务中使用和披露。

第一类是过度获取。代表性资源 PrivacyPeek 专门检查 Agent 在执行任务时，是否读取了超出任务需要的数据。它包含 1182 个测试案例，记录 Agent 打开了哪些文件、检索覆盖了多长的时间范围、工具返回的结果中是否包含多余信息，以及任务最终是否完成。^〔4〕例如，用户只询问当天的生命体征，Agent 却读取了完整病史。即使最终回答没有泄露病史，这些数据也已经进入 Agent 的处理过程。这里要测的不是“最后说了什么”，而是“为了完成任务，之前拿了什么”。

第二类是选择性披露。代表性资源 CIMemories 专门检查 Agent 能否根据当前任务，决定长期记忆中的哪些信息可以使用或披露。它为虚构用户建立包含一百多个属性的长期画像，再把同一项属性放入不同任务：这项信息在一个任务中可能确有必要，在另一个任务中却不应出现。评测既观察任务是否完成，也观察不当披露是否会随着任务数量和重复生成次数增加。^〔5〕

这两项评测资源回答的是不同问题：PrivacyPeek 看 Agent 获取了什么，CIMemories 看已经记住的信息是否应该在当前任务中使用。

当 Agent 开始调用工具、操作应用或与其他 Agent 协作时，隐私评测还需要沿着信息流继续向外观察：数据被交给了谁，Agent 在外部系统中实际做了什么，以及敏感信息是否从内部消息、日志、文件或第三方组件中流出。

第一类是信息流向。代表性资源 ToolPrivacyBench，专门检查每个工具或信息接收方得到的数据，是否确实是完成任务所必需的。它先为每个案例设定一组隐私规则，再让 Agent 在模拟的业务系统中完成任务，最后检查 Agent 传给各个工具的具体数据，以及系统留下的操作记录。2150 个案例既记录任务是否完成，也记录信息是否被交给并不需要它的工具或接收方。^〔6〕（可阅读本公众号过往文章面向工具调用型Agent的隐私评测集）

第二类是外部行动。代表性资源 AgentCIBench，是一套检查 Agent 如何在多个应用之间传递信息和执行操作的评测资源。每个场景都会说明系统的初始状态、任务目标、信息接收者，以及哪些内容必须分享、哪些内容不得分享。评测随后检查 Agent 最终向谁发送了什么，以及外部应用发生了什么变化。^〔7〕

第三类是内部通道。代表性资源 AgentLeak，是一套检查多 Agent 和完整系统内部是否发生信息泄露的评测框架。它不仅查看最终输出，还检查 Agent 之间的消息、传给工具和由工具返回的数据、共享记忆、日志和文件。^〔8〕

内部通道的评测还可以延伸到 Agent 使用的第三方技能组件，即大家熟悉的“Skills”。代表性资源 SkillLeakBench 专门检查这些组件是否会把账号、密钥等访问凭据，通过网络请求、日志、文件或程序输出带出系统。^〔9〕它提醒我们，即使 Agent 的最终回答没有泄露信息，其依赖的外部组件仍可能形成新的数据出口。

回到医疗健康 Agent 评测场景，这些公开评测资源显然无法简单照搬，至少还需回答以下两个问题：哪些评测思路和方法可以借鉴，哪些判断边界必须根据中国法律、医疗制度和具体业务重新建立。

在临床搜索环节，ASQ-PHI 检查信息在发送给外部工具前，是否已经去除不应外传的医疗健康信息，由此提供了“安全交接”的评测思路；评测过度获取的 PrivacyPeek，可以检查 Agent 是否只读取了完成任务所需的数据；评测长期记忆的 CIMemories，可以帮助建立“某项信息在什么任务中才有必要使用”的判断关系。

进入工具和系统层以后，检查工具之间信息流向的 ToolPrivacyBench，可以帮助判断每个工具和信息接收方是否只得到了完成任务所需的数据；检查外部行动的 AgentCIBench，以及检查内部消息、日志和文件的 AgentLeak，则把观察范围延伸到 Agent 实际做了什么、信息被发给了谁，以及系统留下了什么。这些方法连接起来，串起了信息进入 Agent、执行任务和形成系统记录的几个主要观察位置。

部分海外资源依据美国医疗信息保护立法（HIPAA）、欧盟个人数据保护立法（GDPR），或者“情境完整性”（CI）理论设置答案和标签。它们可以提供设计评测题目的方法，却不能代替中国法律、医疗机构制度和具体业务事实下的判断。

在实际医疗场景中，患者、监护人、家属、医生、药师、保险机构和第三方服务商分别是什么角色，谁有权取得哪些信息，授权是否仍然有效，都需要结合具体情境确定。公开数据集只能提供预设场景，无法替真实医疗业务确认这些动态条件。评测时还要结合当时是否存在实际治疗关系、操作人员是否具有相应科室权限、是否因抢救或其他紧急需要临时扩大病历访问权限，以及患者是否已经撤回授权，重新判断相关信息能否被读取、使用或披露。

最后，我们要看到，现有公开评测资源还有不少盲区。它们对长期记忆的信息来源、更新时间、过期、撤回和删除覆盖有限，也通常看不到模型服务商、负责记录系统调用和运行日志的平台，以及人工审核环节是否继续使用这些数据。有些方法目前只有论文，有些代码仓库没有明确许可，还有一些依赖特定模型、外部在线服务或复杂的网页运行环境。因此，一项方法值得学习，不等于其数据和代码可以直接成为企业内部的测试资产。

方法学习价值与开放复现状态是两条独立轴。“未确认”表示本轮未取得足以作出肯定表述的一手证据。

^〔1〕ASQ-PHI 官方仓库与同行评议论文。

https://github.com/JamesWeatherhead/asq-phi

https://doi.org/10.1016/j.dib.2026.112586

这两项材料支持文中关于 1051 条完全合成的临床搜索请求、健康信息去标识和“安全交接”的说明；它们不继续观察外部工具收到信息后的使用、保存和传递。

^〔2〕PrivacyLens 官方仓库、论文与数据。

https://github.com/SALT-NLP/PrivacyLens

https://arxiv.org/abs/2409.00138

https://huggingface.co/datasets/SALT-NLP/PrivacyLens

这些材料支持文中关于隐私规范、场景、预先生成的行动步骤和模型最后行动选择的说明。

^〔3〕SynthPAI 与 LLM-PBE 官方仓库及论文。

https://github.com/eth-sri/SynthPAI

https://arxiv.org/abs/2406.07217

https://github.com/QinbinLi/LLM-PBE

https://arxiv.org/abs/2408.12787

SynthPAI 支持个人属性推断部分；LLM-PBE 支持训练数据提取和成员推断部分。两者不能用于判断 Agent 的检索、权限或工具使用是否恰当。

^〔4〕PrivacyPeek 官方仓库。

https://github.com/Xuan269/PrivacyPeek-Resource

该材料支持文中关于 1182 个测试案例，以及检查 Agent 在任务过程中获取了哪些文件、时间范围和多余信息的说明。

^〔5〕CIMemories 官方仓库、论文与数据。

https://github.com/facebookresearch/CIMemories

https://arxiv.org/abs/2511.14937

https://huggingface.co/datasets/facebook/CIMemories

这些材料支持长期记忆中属性与任务必要性、任务完成和累计披露的说明。

^〔6〕ToolPrivacyBench 论文。

https://arxiv.org/abs/2606.28061

该论文支持 2150 个案例、逐工具和信息接收方的目的限定、工具参数及系统操作记录等说明。截至本次核验，只确认论文公开，尚未确认官方代码和数据入口。

^〔7〕AgentCIBench 官方项目页、论文与数据。

https://ukplab.github.io/arxiv2026-agentcibench/

https://arxiv.org/abs/2606.23189

https://huggingface.co/datasets/UKPLab/agentcibench

这些材料支持初始状态、任务、接收者、必须分享和不得分享的信息，以及外部应用行动等说明。

^〔8〕AgentLeak 官方仓库与论文。

https://github.com/Privatris/AgentLeak

https://arxiv.org/abs/2602.11510

这些材料支持最终输出、Agent 间消息、工具输入与输出、共享记忆、日志和文件等内部通道的说明。

^〔9〕SkillLeakBench 官方仓库与论文。

https://github.com/AgentSkillsPrivacy/SkillLeakBench

https://arxiv.org/abs/2604.03070

这些材料支持第三方技能组件可能通过网络、日志、文件或程序输出泄露访问凭据的说明。