结构注意力：重构医学图像配对生成中的Transformer
计算机视觉与模式识别
2024-08-29 v2
摘要
无配对医学图像合成旨在为准确的临床诊断提供补充信息，解决获取配对多模态医学扫描的挑战。基于Transformer的模型在图像翻译任务中表现出色，由于其能够捕获长程依赖。尽管在监督训练设置下效果良好，但在无配对图像合成中表现不佳，尤其是在合成结构细节方面。本文经验性地表明，在缺乏强归纳偏置的情况下，Transformer 在缺乏配对数据时可能收敛到次优解。为此，我们提出了UNet结构化Transformer（UNest），一种新型架构，为无配对医学图像合成引入结构归纳偏置。我们利用基础的Segment-Anything Model（SAM）精确提取前景结构，并在主要解剖结构中执行结构注意力。这引导模型学习关键解剖区域，从而在无配对训练的缺乏监督环境下提高结构合成。我们在两个公开数据集上进行评估，涵盖三个模态，即 MR、CT 和 PET。UNest 在六项医学图像合成任务中均优于最近的方法，提升幅度最高可达 19.30%。我们的代码已公开：https://github.com/HieuPhan33/MICCAI2024-UNest。
引用
@article{arxiv.2406.18967,
title = {Structural Attention: Rethinking Transformer for Unpaired Medical Image Synthesis},
author = {Vu Minh Hieu Phan and Yutong Xie and Bowen Zhang and Yuankai Qi and Zhibin Liao and Antonios Perperidis and Son Lam Phung and Johan W. Verjans and Minh-Son To},
journal= {arXiv preprint arXiv:2406.18967},
year = {2024}
}
备注
MICCAI version before camera ready