扩散模型中的隐变量漂移：用于反事实医学图像合成
计算机视觉与模式识别
2025-04-14 v2 人工智能
摘要
大规模数据集训练可提升图像生成与操控的扩散模型质量与保真度，但在医学成像领域因成本与隐私限制，往往难以获取大规模数据集，这与扩散模型用于生产稀缺数据中合成样本的主要应用相矛盾。此外，微调预训练通用模型面临医学领域与预训练模型之间分布迁移的挑战。本文提出一种名为Latent Drift(LD)的方法，可用于任何微调方法，以缓解分布迁移问题，或在推理阶段作为条件使用。隐变量漂移使扩散模型能够针对医学图像进行条件化，适用于复杂的反事实图像生成任务，这对于研究性别、年龄以及添加或移除疾病对医学图像的影响至关重要。我们在三个公开的纵向基准数据集（脑MRI和胸部X光）上评估了该方法，用于反事准图像生成。结果表明，在不同微调方案下，我们的方法在各种情景下均显著提升了性能。
引用
@article{arxiv.2412.20651,
title = {Latent Drifting in Diffusion Models for Counterfactual Medical Image Synthesis},
author = {Yousef Yeganeh and Azade Farshad and Ioannis Charisiadis and Marta Hasny and Martin Hartenberger and Björn Ommer and Nassir Navab and Ehsan Adeli},
journal= {arXiv preprint arXiv:2412.20651},
year = {2025}
}
备注
Accepted to CVPR 2025 (highlight)