调控AI适应性：对AI医疗设备更新的分析
机器学习
2024-07-25 v1 人工智能
计算机与社会
摘要
尽管AI开发的速度在近年来迅速发展，但安全有效的监管框架的实施仍滞后于其发展速度。特别是，AI模型的自适应性质为监管者带来了独特的挑战，因为更新模型可能会提高其性能，但也可能引入安全风险。在美国，食品药品监督管理局（FDA）作为AI医疗设备监管和批准的先驱，已批准了数百种AI医疗设备。为更好地理解AI的更新方式及其监管考量，我们系统性地分析了FDA批准的AI医疗设备更新的频率和性质。我们发现，不到2%的设备报告了通过在新数据上重新训练来进行更新的事实。 Meanwhile，近四分之一的设备报告了以新功能和营销宣称形式的更新。作为案例研究，我们分析了肺气胫检测模型，发现当在新地点评估时，模型性能可能下降最高可达0.18 AUC，而通过在特定地点的数据上重新训练可缓解这种性能下降，恢复最高可达0.23 AUC。然而，我们也观察到在使用来自新地点的数据重新训练后，在原始地点的性能会出现显著下降，这从一个案例提供了对当前单一模型一刀切方法的监管批准的挑战性见解。我们的分析提供了对FDA批准AI设备更新当前状态的深入了解，并为向模型更新和自适应AI提供未来监管政策提供了见解。
引用
@article{arxiv.2407.16900,
title = {Regulating AI Adaptation: An Analysis of AI Medical Device Updates},
author = {Kevin Wu and Eric Wu and Kit Rodolfa and Daniel E. Ho and James Zou},
journal= {arXiv preprint arXiv:2407.16900},
year = {2024}
}