确保医学 AI 安全：基于可解释性的虚假关联模型行为及其数据的检测与缓解
人工智能
2025-07-30 v2 计算机视觉与模式识别
机器学习
摘要
深度神经网络日益被用于高风险医学应用，尽管它们在存在虚假关联时倾向于进行捷径学习，这在实际中可能产生致命后果。虽然已有众多工作分别解决虚假关联的检测或缓解问题，但 Reveal2Revise 方法提供了综合性的偏差缓解框架， 将这些步骤整合在一起。然而，有效解决这些偏差往往需要来自领域专家的大量标注工作。本文我们审查了 Reveal2Revise 框架的步骤，并通过半自动可解释性基于偏差注释能力来增强其功能。这包括提供样本级和特征级偏差注释的方法，为缓解这些偏差以学习不希望的捷径行为提供了宝贵信息。我们使用四个医学数据集（跨两个模态）展示了该框架的可行性，数据集中包含受数据工件引起的受控与真实世界的虚假关联。我们成功识别并缓解了 VGG16、ResNet50 和当代视觉转换器模型中的这些偏差，最终提高了这些模型在真实世界医学任务中的鲁棒性和适用性。我们的代码已公开于 https://github.com/frederikpahde/medical-ai-safety。
引用
@article{arxiv.2501.13818,
title = {Ensuring Medical AI Safety: Interpretability-Driven Detection and Mitigation of Spurious Model Behavior and Associated Data},
author = {Frederik Pahde and Thomas Wiegand and Sebastian Lapuschkin and Wojciech Samek},
journal= {arXiv preprint arXiv:2501.13818},
year = {2025}
}