智库动态NEWS
【Nature述评】医学领域对人工智能的快速采用引发研究人员担忧
来源:BLOODSCREEN 作者: 投稿时间:2025/06/25

人工智能正以前所未有的速度重塑医疗行业。在美国,已有逾千种医疗AI工具获得美国食品和药物管理局(FDA)批准,被广泛用于辅助诊断、病患分诊和临床记录等环节。然而,一项近日发表的报告指出,在这场技术浪潮中,监管体系正日益显现出“跑不过AI”的滞后性。由于这些工具在获批后仍可自我更新和迭代,传统监管模式难以有效覆盖其动态风险。面对这一现实,专家呼吁医疗机构与大学联手,建立更为严谨和持续的评估体系,以填补FDA监管之外的空白,防止未经验证的AI工具被直接应用于患者照护,从而引发潜在的医疗危机。在技术快速演进与政策真空之间,医疗AI亟需新的“看门人”。

美国许多医院依赖辅助诊断和其他任务的医疗人工智能工具。图片来源:希拉里・斯威夫特为《华盛顿邮报》拍摄,盖蒂图片社。

人工智能(AI)已在美国各地的医院中帮助临床医生进行诊断、对危急病例进行分诊以及转录临床记录。但 6 月 5 日发表在《PLOS 数字健康》上的一份报告指出,医疗人工智能产品的监管未能跟上其快速普及的步伐。

作者指出了美国食品和药物管理局(FDA)批准这些设备的方式存在局限性,并提出了超越该机构的更广泛策略,以帮助确保医疗人工智能工具的安全性和有效性。

超过 1000 种医疗 AI 产品已通过 FDA 批准,医院正在迅速采用这些产品。与大多数其他受 FDA 监管的产品不同,AI 工具在获得批准后会随着新数据的更新或再训练而不断进化。这就需要持续的监督,而当前的法规在确保这种监督方面能力有限。

这一讨论尤其及时,因为有迹象表明联邦政府可能缩减人工智能监管。今年 1 月,唐纳德・特朗普总统以需要消除创新障碍为由,撤销了一项专注于人工智能安全的行政命令。次月,负责 AI 和数字健康的 FDA 部门裁员。

报告的合著者、剑桥麻省理工学院临床研究员利奥・安东尼・切利(Leo Anthony Celi)表示,如果没有适当的监督,医疗算法可能会给出误导性建议,影响患者照护。“必须有保障措施,” 他说,“而且我认为指望 FDA 想出所有这些保障措施是不现实的,甚至可能是不可能的。”

批准门槛低

FDA 审查和批准 AI 医疗工具的标准通常不如药物严格。由于其他国家依赖 FDA 来制定自己的决策,其做法可能产生全球影响。例如,根据 FDA 的规定,只有那些可能对患者构成较高风险的工具才需要通过临床试验。另一个担忧是,医疗算法在应用于与其训练对象不同的人群时往往表现不佳。切利说,由于这些局限性,监管批准并不能确保医疗 AI 产品对其预期帮助的人群有益。

理想情况下,医院应该评估算法在自己患者群体中的表现,并培训临床医生在采用这些技术之前正确解读输出并做出适当反应。切利说:“最大的挑战之一是,绝大多数医院和诊所没有资源雇佣 AI 团队来进行此类测试。” 他补充说,今年发表的一项研究发现,许多医院正在 “现成” 购买 AI 工具,未经本地验证就使用。“这是在制造灾难,” 他说。

在他们的报告中,切利和他的合著者提议大学与医疗机构合作,评估医疗 AI 设备的质量。“让他们帮助医院的 IT 部门,准备数据集,运行模型,评估算法,并监测其影响,” 他说。“考虑到这些技术的发展速度,这种做法以前从未有过,但我们认为传统结构根本不够用,” 他补充道。

FDA 无权强制医院在批准后进行此类测试。“这根本不属于其法定管辖范围,” 加州斯坦福大学卫生法研究员米歇尔・梅洛(Michelle Mello)说。“除了 FDA 之外,谁会参与,他们会做什么,一直是个问题。”

一场 AI 革命正在医学界酝酿。它会是什么样子?

梅洛说,一个可能的机构是美国医疗保险和医疗补助服务中心(CMS),这是一家美国联邦机构,为老年人和低收入人群等提供公共健康保险。她指出,该机构有权要求医疗保健组织对 AI 工具进行更严格的评估,并将其作为通过公共保险计划获得付款的条件。她补充说,CMS 相对未受近期联邦削减的影响。

加州洛杉矶西达赛奈医疗中心的心脏病专家大卫・欧阳(David Ouyang)也强调了医疗保险公司在激励对 AI 工具进行更彻底测试方面可以发挥的作用。他说,许多 FDA 批准的工具未能广泛采用的一个原因是它们不在保险覆盖范围内。他补充说,保险公司可以要求进行更严格的评估作为承保条件。“保险的证据门槛实际上比 FDA 的门槛更高,” 他说。“因此,AI 的使用还有其他保护措施。”


联系方式:王乐   010-68200552

电子邮箱:wangle@ccidgroup.com

公司地址:北京市海淀区万寿路27号院8号楼1201室