基于解剖学的胸部X光潜在扩散模型的弱监督提示调优
计算机视觉与模式识别
2025-06-13 v1
摘要
最近年来，潜在扩散模型在文本引导的图像合成方面取得了显著成果。在自然（RGB）图像领域，近期研究表明，这类模型可以仅通过极少或无监督方式适应各种视觉语言下游任务。相比之下，面向医学影像的文本到图像潜在扩散模型仍相对不被探索，主要due于数据获取受限（例如因隐私原因）。本文聚焦胸部X光模态，首先证明了标准文本条件潜在扩散模型尚未学习到将临床相关信息与给定扫描对应区域对齐的能力。为缓解此问题，本文提出一种微调框架，以改进预训练模型中的多模态对齐，使其能够高效地用于如短语 grounding 等下游任务。我们的方法在标准基准数据集（MS-CXR）上取得了新的状态-of-the-art性能，同时在离分布数据（VinDr-CXR）上也表现出稳健的性能。我们的代码将公开释放。
引用
@article{arxiv.2506.10633,
title = {Anatomy-Grounded Weakly Supervised Prompt Tuning for Chest X-ray Latent Diffusion Models},
author = {Konstantinos Vilouras and Ilias Stogiannidis and Junyu Yan and Alison Q. O'Neil and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2506.10633},
year = {2025}
}
备注
14 pages, 6 figures