MCAD: 用于高质量PET图像重建的多模态条件对抗扩散模型
图像与视频处理
2024-06-21 v1 计算机视觉与模式识别
摘要
与标准剂量正电子发射断层扫描图像相关的辐射危害仍然令人担忧，而低剂量PET图像的质量无法满足临床要求。因此，从低剂量PET图像重建标准剂量PET图像引起了极大兴趣。然而，先前的研究仅关注图像数据，忽略了来自其他模态（例如，患者的临床表格数据）的重要补充信息，导致重建效果不佳且诊断效用有限。此外，它们常常忽略真实标准剂量PET图像与重建图像之间的语义一致性，导致语义上下文扭曲。为解决这些问题，我们提出了一种新颖的多模态条件对抗扩散模型，用于从多模态输入（包括低剂量PET图像和临床表格数据）重建标准剂量PET图像。具体来说，我们的MCAD包含一个多模态条件编码器来提取多模态特征，然后是一个条件扩散过程，将噪声与多模态特征混合，并逐步将混合特征映射到目标标准剂量PET图像。为平衡多模态输入，多模态条件编码器嵌入了最优多模态传输协同注意力，以缩小图像和表格数据之间的异质性差距，同时捕获它们的交互，为重建提供充分指导。此外，为减轻语义失真，我们引入了多模态掩码文本重建，它利用从去噪PET图像中提取的语义知识来恢复被掩码的临床表格数据，从而迫使网络在重建过程中保持准确的语义。为加速扩散过程，我们进一步引入了一个具有减少扩散步数的对抗扩散网络。实验表明，我们的方法在定性和定量上都达到了最先进的性能。
引用
@article{arxiv.2406.13150,
title = {MCAD: Multi-modal Conditioned Adversarial Diffusion Model for High-Quality PET Image Reconstruction},
author = {Jiaqi Cui and Xinyi Zeng and Pinxian Zeng and Bo Liu and Xi Wu and Jiliu Zhou and Yan Wang},
journal= {arXiv preprint arXiv:2406.13150},
year = {2024}
}
备注
Early accepted by MICCAI2024