RadEdit：通过扩散图像编辑对生物医学视觉模型进行压力测试
计算机视觉与模式识别
2024-12-17 v3 人工智能
摘要
生物医学成像数据集通常规模小且存在偏差，这意味着预测模型在真实世界中的性能可能远低于内部测试的预期。本文提出使用生成式图像编辑来模拟数据集偏移并诊断生物医学视觉模型的故障模式；这可以在部署前用于评估准备情况，从而可能降低成本和患者伤害。现有的编辑方法可能会产生不良变化，由于疾病和治疗干预的共现而学习到虚假相关性，限制了实际应用。为了解决这个问题，我们在多个胸部X光数据集上训练了一个文本到图像扩散模型，并引入了一种新的编辑方法RadEdit，该方法在存在多个掩膜时使用多个掩膜来约束变化并确保编辑图像的一致性。我们考虑了三种类型的数据集偏移：采集偏移、表现偏移和群体偏移，并证明了我们的方法可以在无需额外数据收集的情况下诊断故障并量化模型鲁棒性，补充了可解释人工智能的更多定性工具。
引用
@article{arxiv.2312.12865,
title = {RadEdit: stress-testing biomedical vision models via diffusion image editing},
author = {Fernando Pérez-García and Sam Bond-Taylor and Pedro P. Sanchez and Boris van Breugel and Daniel C. Castro and Harshita Sharma and Valentina Salvatelli and Maria T. A. Wetscherek and Hannah Richardson and Matthew P. Lungren and Aditya Nori and Javier Alvarez-Valle and Ozan Oktay and Maximilian Ilse},
journal= {arXiv preprint arXiv:2312.12865},
year = {2024}
}