利用扩散模型生成视网膜眼底与 OCT 图像的逼真反事实
计算机视觉与模式识别
2023-12-05 v2 机器学习
摘要
反事实推理常用于临床环境以解释决策或权衡备选方案。因此，对于眼科等基于影像的专科，若能生成反事实图像将大有裨益，例如阐明“若受试者患有糖尿病视网膜病变，其眼底图像会是什么样？”之类的问题。在此，我们证明将扩散模型与在视网膜疾病分类任务上训练的对抗鲁棒分类器相结合，能够生成高度逼真的视网膜眼底图像与光学相干断层扫描（OCT）B 扫描的反事实。反事实逼真性的关键在于，这些分类器编码了指示各疾病类别的显著特征，并能以逼真方式引导扩散模型描绘疾病征象或去除疾病相关病灶。在一项用户研究中，领域专家也认为采用我们所生成的反事实相比先前方法显著更逼真，甚至与真实图像难以区分。
引用
@article{arxiv.2311.11629,
title = {Generating Realistic Counterfactuals for Retinal Fundus and OCT Images using Diffusion Models},
author = {Indu Ilanchezian and Valentyn Boreiko and Laura Kühlewein and Ziwei Huang and Murat Seçkin Ayhan and Matthias Hein and Lisa Koch and Philipp Berens},
journal= {arXiv preprint arXiv:2311.11629},
year = {2023}
}