人工智能医疗设备的研发方式与传统医疗设备略有不同,由此产生了一些新的情况和因素,这些情况和因素与现有的指南和法规并不完全一致。与基于固定程序运行的传统软件不同,人工智能模型能够持续学习、适应并根据不断变化的数据做出决策。

这种动态特性给医疗器械带来了潜在风险,而这些风险在当前的开发指南和法规中并未得到解决。
人工智能带来的新挑战和风险包括:
算法/模型漂移。随着时间的推移,人工智能模型可能会发生改变,从而影响其准确性或引入意想不到的变化。如果管理不当,一款在发布之初表现良好的诊断人工智能工具,随着患者数据中新模式的出现,其可靠性可能会逐渐降低。
数据敏感性和偏差。人工智能模型会根据接收到的数据进行调整,但患者人口统计特征、临床环境或环境因素的变化会导致性能不一致和临床决策不合格。
持续验证与监控。人工智能设备需要持续的性能验证,以确保其在整个生命周期内保持安全有效。如果没有适当的监控,人工智能系统的有效性可能会在不知不觉中下降。
监管挑战与适应性。由于人工智能模型不断演进,静态的监管审批流程可能不足以应对挑战。能够根据真实世界数据更新算法的设备可能需要新的监管框架,以确保安全性的同时又不阻碍创新。
应对新风险:FDA指导草案的4个主要方面
美国食品药品监督管理局 (FDA) 2025 年的指导草案旨在弥合人工智能医疗器械设计应用监管框架中目前存在的差距。
1.基于风险的软件设计方法
开发人员将被要求更加关注设备的潜在风险因素。这包括识别、评估和缓解与人工智能模型行为相关的风险,例如算法漂移和数据偏差。这些保障措施旨在解决非静态软件问题。
例如,需要采取安全措施来防止设备性能随时间发生意外变化,并确保模型训练过程中数据的多样性。这些都是降低在医疗器械中使用人工智能技术风险的有效方法。
2.产品全生命周期(TPLC)管理
该指南强调了全产品生命周期 (TPLC) 方法,认识到人工智能医疗设备不断发展,需要持续监督才能保持安全、有效和合规。
TPLC 框架并非将开发视为一系列离散的步骤,而是将风险管理、验证和监管控制贯穿于设备的整个生命周期。
人工智能医疗设备必须从一开始就考虑风险和合规性问题进行开发,并在其整个生命周期中进行监控,以确保持续的安全性和有效性。
上市前开发:人工智能开发者必须在监管文件中记录模型训练、验证和测试,证明该设备在进入市场之前符合安全性、有效性和性能要求。
上市后性能监控:制造商必须实施持续监控协议,以检测和解决性能下降、算法漂移和网络安全风险等问题。
变更控制计划:为了在不损害患者安全的情况下保持监管灵活性,制造商必须为软件更新和修改制定预定义的变更控制协议,以确保除非人工智能模型调整显著改变设备性能,否则无需完全重新批准。
3.验证和性能透明度
随着人工智能设备的不断发展,它们无法像传统的软件驱动或机械设备那样以静态的方式进行验证。为了确保人工智能医疗设备的安全、有效和公正,FDA将要求制造商:
记录并论证人工智能模型开发过程。这包括提供训练数据集、方法论和偏差缓解策略的详细记录,以确保公平性和可靠性。
验证其在各种临床环境中的性能。人工智能模型必须经过真实世界的测试,以证明其在不同患者群体、人口统计特征和医疗保健环境中具有一致的准确性和有效性。
确保人工智能模型性能的透明度。制造商必须向监管机构、医疗服务提供者和用户披露关键性能指标、已知局限性和验证方法,以确保知情决策和问责制。
4.网络安全与数据完整性
2024年,有1.85亿条医疗保健记录遭到泄露。个人健康信息(PHI)对网络犯罪分子来说极具价值,这使得存储、共享和使用患者数据的医疗设备(例如人工智能设备)容易受到网络安全威胁。
这些设备是网络犯罪分子的主要目标,面临数据投毒、对抗性攻击和未经授权的人工智能模型篡改等风险。为了加强网络安全和数据完整性,FDA 的指导草案引入了人工智能医疗设备的新实践,其中包括:
安全的数据处理协议。这可以防止数据投毒和对抗性操纵,防止恶意输入破坏人工智能模型,从而导致有偏差或不安全的输出。
强大的加密和认证机制。这确保了人工智能模型更新和患者数据传输的安全,防止未经授权的访问和模型篡改。
持续的安全监控和实时威胁检测。这需要对新出现的网络安全威胁进行主动监控,以便及时发现并应对漏洞。
展望未来:医疗器械设计标准的实践
1.从一天起就将合规性融入开发过程
虽然合规性问题主要针对人工智能驱动的开发,但尽早解决合规性问题对所有医疗器械开发项目都有益处。等到后期才解决监管问题会延长产品上市时间,增加开发成本。
考虑将风险管理融入人工智能模型设计,以主动降低偏差和算法漂移的风险。产品开发应遵循全面产品生命周期管理(TPLC)原则,从概念构思到长期监控,始终将安全性和合规性纳入考量。尽早记录人工智能的训练、验证和适应性,以确保审批流程更加顺畅。
2.建立实时监控和变更控制机制
人工智能医疗器械监管领域大的转变在于对持续监管的要求。告别“一劳永逸”的思维模式,开始将医疗器械视为需要持续监管和管理的动态生态系统。
对于人工智能设备,请考虑以下几点:
实施自动化性能监控系统,以便在人工智能偏差影响患者疗效之前检测到该偏差。
制定变更控制计划,允许预先批准的软件更新,而无需完全重新批准的延误。
利用真实世界的数据反馈循环来改进模型,同时保持在监管范围内。
3.从根本上加强网络安全
人工智能设备是网络安全的主要目标,合规性如今已包含强有力的安全措施。制造商应尽早考虑网络安全措施,避免在开发过程中途进行重新设计,并使合规性要求与设备功能更加协调一致。
例如,可以考虑对患者数据和人工智能模型更新进行加密,以防止未经授权的访问。或者,可以加强人工智能模型的防御能力,使其免受可能操纵临床决策的对抗性攻击。此外,还可以采取主动的网络安全监控措施,以便在安全漏洞危及患者安全之前将其检测出来。
4.促进透明度和监管准备
随着人工智能医疗设备日趋复杂,对透明度的需求也将空前高涨。制造商很快将被要求积极主动地确保其人工智能模型的可靠性、可解释性和合规性。

随着新的性能透明度要求出台,制造商应支持以下流程变更:
向监管机构和用户清晰地记录人工智能模型的决策过程。
对医疗服务提供者进行人工智能模型局限性及适用场景的培训。
做好适应性监管框架的准备,确保人工智能驱动的更新能够顺利推出,不会遇到监管瓶颈。