Duke发布医疗AI安全白皮书

AI工具对患者造成的伤害，患者自己可能根本不知道。

2026年3月26日，Duke大学Margolis健康政策研究所联合Duke Health AI评估与治理项目发布了一份白皮书《AI Safety in Health Systems: Building Infrastructure and Strengthening Risk Management Practices》（医疗系统中的AI安全：构建基础设施与强化风险管理实践）。

这份12页的文件汇集了医疗系统领导者、AI工具开发商、行业组织、政策专家和监管机构的见解，聚焦一个核心问题：当临床AI工具大规模部署时，谁来负责患者安全？

作为药物警戒从业者，你会在这份白皮书里看到大量熟悉的概念：全生命周期风险管理、安全事件报告、偏倚识别、性能漂移监测、CAPA、供应商管理。只是这一次，管理对象不是药物，是AI。

核心问题：AI安全事件为什么难以被发现？

白皮书开篇就点出了一个关键矛盾。传统的患者安全事件通常由临床医生、患者或家属发现并报告，患者和家属往往是伤害的早期发现者。但临床AI工具对患者来说大多是"不可见"的。患者不知道自己的诊疗过程中有AI参与，自然无法报告AI相关的安全事件。

这意味着传统的被动安全报告体系不够用了。医疗系统需要主动的、系统级别的风险管理方法，包括识别、追踪和响应AI相关患者安全事件的能力。

白皮书将患者安全事件定义为任何导致或可能导致患者伤害的过程、行动或遗漏。在AI语境下，这包括不安全的推荐、性能退化、系统故障和未遂事件（near misses）。

AI引入了哪些新型风险？

白皮书识别了临床AI工具相比传统临床工具的额外风险。

性能漂移（Performance Drift）。 AI模型的性能会随时间变化，当输入数据的分布与训练数据偏离时，模型表现可能下降。这类似于药物在真实世界使用中可能出现的有效性或安全性变化。

偏倚（Bias）。 白皮书特别强调，算法偏倚应被视为患者安全风险，而不仅仅是技术性能问题。研究表明，脓毒症预测和风险分层算法在非白人患者群体中可能低估风险，导致警报减少和临床升级延迟。偏倚存在于多个维度：种族、城乡、保险类型等。

幻觉（Hallucinations）。 基于大语言模型（LLM）的临床工具可能产生看似权威但实际错误的输出。更危险的是，无论输出的不确定性有多高，LLM都以同样自信的语气呈现结果，容易导致用户过度依赖。

自动化偏倚（Automation Bias）。 人在回路（HITL）审查是常见的缓解策略，但并非万无一失。用户可能被动接受AI输出而不加批判性评估。白皮书指出，有效策略必须超越被动接受，需要强化临床医生的参与和对AI结果的适当质疑。

全生命周期风险管理框架

白皮书的核心贡献是提出了一个覆盖AI工具全生命周期的风险管理操作框架，分为AI治理、部署前任务和部署后任务三个层面。

AI治理层面要求医疗系统建立治理机构，制定基于风险的评估流程，创建问责框架（明确谁负责实施缓解策略、审查监测结果、管理版本更新、做出最终安全决策），维护集中化的AI工具清册，建立安全事件管理的正式流程和升级路径。

白皮书特别提到一个实用做法：在现有的企业级患者安全报告系统中嵌入AI专用标记（AI-specific flags），这样可以在不增加一线报告者负担的情况下，快速识别涉及AI工具的安全事件。另一个建议是创建低负担的用户反馈机制，比如"点赞/踩"按钮，作为早期预警信号。

部署前任务包括：确认工具的预期用途和临床使用场景；创建风险管理计划（初步安全评估、已知局限性文档化、缓解策略）；提供本地验证或相关测试结果；制定监测计划（定义性能漂移、错误和安全事件的指标和阈值）；建立问责制（指定具体责任人）。

部署后任务包括：审查和追踪患者安全事件，记录所有安全事件和未遂事件；监测工具性能，当触达预设阈值时启动行动方案；评估缓解措施有效性；实施变更管理，监控供应商更新并识别对患者安全的潜在影响。

供应商关系：双向透明

白皮书用专门章节讨论了供应商关系。核心要求是建立清晰可靠的双向沟通通道。医疗系统在选择AI工具时，应优先考虑在已知安全风险、局限性和安全问题方面愿意满足透明度期望的供应商。

具体要求包括：供应商应披露产品更新，特别是新增AI功能的工具；供应商应明确沟通可能影响患者安全的版本变更；对于LLM等复杂工具，供应商应提供支持有效评估和监测的必要信息；必须建立报告和处理患者安全关切的定义流程。

这一点对药物警戒从业者会很熟悉。这本质上就是药物警戒中MAH与CRO/供应商之间的质量协议和安全信息交换机制在AI领域的映射。

跨系统学习网络

白皮书的另一个亮点是提出了跨系统学习网络的构想。因为AI治理的有效实践仍在形成中，跨系统的沟通和共享学习是快速识别新兴最佳实践和新型风险的关键方法。

白皮书举了美国放射学院（ACR）的国家放射学数据注册表作为早期案例。ACR通过自动化流程，从参与的医疗组织汇聚AI工具的结局数据，然后反馈组织级别的洞察，并能比单个组织更快地识别性能趋势。

这个模式与药物警戒中全球安全性数据库、PSUR/PBRER跨国汇总分析、以及监管机构之间的安全信号共享机制有着相同的底层逻辑。

监管现状：碎片化

白皮书坦承，当前临床AI工具的监管框架是碎片化且令人困惑的。监管职责分散在多个联邦机构之间：FDA监管符合软件医疗器械（SaMD）条件的AI，HHS民权办公室负责反歧视和隐私保护，国家健康IT协调员办公室负责健康IT认证和透明度要求。但许多AI工具（如行政或文档类AI系统）完全不在FDA管辖范围内，甚至不受任何联邦监管。各州还在各自出台AI医疗法律，进一步增加了复杂性。

白皮书呼吁政策制定者加强和澄清临床AI工具的监管框架，考虑使用安全港或其他责任保护机制来鼓励信息共享，并通过CMS质量指标激励医疗系统实施安全和风险管理基础设施。

药物警戒从业者的视角

读完这份白皮书，最强烈的感受是：AI安全管理正在重新发明药物警戒的轮子。

全生命周期风险管理、部署前评估与部署后监测、安全事件报告与追踪、偏倚识别与缓解、性能漂移监测、供应商质量管理、跨系统数据共享、CAPA流程，这些概念在药物警戒领域已经发展了几十年。

这意味着两件事。

第一，PV的方法论有巨大的迁移价值。 当医疗系统在摸索如何建立AI安全管理体系时，药物警戒几十年积累的信号检测、因果关系评估、风险最小化措施、定期安全性报告等方法论，可以直接为AI安全管理提供参考框架。懂PV的人在AI治理领域有天然的专业优势。

第二，PV本身正在被AI改变。 AI工具已经在进入药物警戒的工作流：ICSR自动处理、信号检测辅助、文献监测自动化、安全数据库管理。白皮书描述的所有AI风险（性能漂移、幻觉、偏倚、过度依赖），同样适用于PV领域使用的AI工具。当AI参与了你的ICSR评估或信号检测，AI的安全性就直接等于你的PV数据质量。

行动建议

审视PV工作流中的AI风险。 如果你的团队正在使用AI辅助工具（ICSR处理、信号检测、文献监测），按照白皮书的框架，评估这些工具的性能漂移、偏倚风险和错误率，建立监测机制。

白皮书可以在文末点击阅读原文，直达PDF链接或复制：

https://healthpolicy.duke.edu/sites/default/files/2026-03/AI%20Safety%20in%20Health%20Systems%20White%20Paper.pdf