基于因果解缠的鲁棒长尾医学图像生成
计算机视觉与模式识别
2025-04-25 v2
摘要
反事实医学图像生成有效解决数据稀缺问题，同时增强医学图像的可解释性。然而，由于医学图像的复杂多样的病理特征以及医学数据中类别不平衡的分布，从有限数据中生成高质量且多样的医学图像存在显著挑战。此外，要充分利用有限数据中的信息（如解剖结构信息），并生成更结构稳定的医学图像，同时避免畸变或不一致性。在本文中，为了增强生成数据的临床相关性并提高模型的可解释性，我们提出了一种新的医学图像生成框架，该框架基于因果解缠生成独立的病理和结构特征，并利用文本引导建模病理特征以调节反事实图像的生成。首先，我们通过因果解缠实现特征分离并分析特征之间的相互作用。此处，我们引入组监督以确保病理特征和身份特征的独立性。其次，我们利用由病理发现指导的扩散模型来建模病理特征，实现多样化反事实图像的生成。同时，我们利用大型语言模型从医学报告中提取病灶的严重程度和位置，以提高准确性。此外，我们通过初始噪声优化提高了在长尾类别上的潜在扩散模型性能。
引用
@article{arxiv.2504.14450,
title = {Causal Disentanglement for Robust Long-tail Medical Image Generation},
author = {Weizhi Nie and Zichun Zhang and Weijie Wang and Bruno Lepri and Anan Liu and Nicu Sebe},
journal= {arXiv preprint arXiv:2504.14450},
year = {2025}
}