基于语言参与双空间对齐的低剂量 CT 去噪
图像与视频处理
2024-03-12 v1 计算机视觉与模式识别
摘要
尽管已提出多种用于低剂量计算机断层扫描 (CT) 去噪的深度学习方法，但它们往往存在过度平滑、模糊以及缺乏可解释性的问题。为缓解这些问题，我们提出了一种即插即用的语言参与双空间对齐损失 (LEDA) 以优化低剂量 CT 去噪模型。我们的思路是利用大型语言模型 (LLM) 在连续感知空间和离散语义空间中对齐去噪后的 CT 图像与正常剂量 CT 图像，这是首个基于 LLM 的低剂量 CT 去噪方案。LEDA 包含两个步骤：首先是预训练一个 LLM 引导的 CT 自编码器，该编码器可将 CT 图像编码为连续高层特征并将其量化为令牌空间，以生成源自 LLM 词汇表的语义令牌；第二步是最小化去噪 CT 图像与正常剂量 CT 在由 LLM 引导的 CT 自编码器编码的高层特征和量化令牌嵌入方面的差异。在两个公开低剂量 CT 去噪数据集上的大量实验结果表明，我们的 LEDA 能在定量指标和定性评估方面提升现有去噪模型的性能，并通过语言层面的图像理解提供可解释性。源代码见 https://github.com/hao1635/LEDA。
引用
@article{arxiv.2403.06128,
title = {Low-dose CT Denoising with Language-engaged Dual-space Alignment},
author = {Zhihao Chen and Tao Chen and Chenhui Wang and Chuang Niu and Ge Wang and Hongming Shan},
journal= {arXiv preprint arXiv:2403.06128},
year = {2024}
}
备注
11 pages, 6 figures