基于双域 CLIP 辅助残差优化感知模型的金属伪影减少

计算机断层扫描（CT）成像中的金属伪影对准确临床诊断构成重大挑战。高密度金属植入物导致伪影质量下降，表现为 streaking（ streaking）、blurring（模糊）或光束硬化效应等。目前，已提出 various deep learning-based approaches，尤其是生成模型，用于金属伪影减少（MAR）。然而，这些方法对不同金属植入物多样化形态的感知能力有限，可能生成虚构的解剖结构且泛化性能较差。为此，我们利用视觉语言模型（VLM）识别这些形态特征，并将其引入双域 CLIP 辅助残差优化感知模型（DuDoCROP）用于 MAR。具体而言，对双域 CLIP（DuDoCLIP）在图像域和 sinogram 域上进行对比学习微调，以从解剖结构和金属伪影中提取语义描述。随后，引导 DuDoCLIP 的嵌入进行扩散模型，从而实现双域先验生成。此外，我们设计了 prompt engineering 以获得更精确的图像-文本描述，从而增强模型的感知能力。然后，设计了一个下游任务，用于一 步残差优化和双域先验的集成，同时纳入原始数据保真性。最终提出了新的感知指标，用于验证模型的感知和生成性能。在 DuDoCLIP 的帮助下，DuDoCROP 的泛化能力至少比基线模型高出 63.7%。数值实验表明，所提方法能够生成更真实的图像结构，并在定性和定量上均优于其他 SOTA 方法。