医学图像恢复地区注意力 Transformer

Transformer 方法在医学图像恢复中展现了惊人的性能，这归功于空间维度上的多头自注意力（MSA）机制。然而，大多数现有 Transformer 在固定且粗糙分区的区域内进行注意力（例如整个图像或固定块），导致来自无关区域的干扰以及连续图像内容的碎片化。为克服这些挑战，我们引入一种新型区域注意力 Transformer（RAT），其利用区域基准的多头自注意力机制（R-MSA）。R-MSA 采用鲁棒的 Segment Anything Model（SAM）动态地将输入图像划分为非重叠的语义区域，然后在这些区域内进行自注意力。这种区域划分更灵活且更具可解释性，确保只有来自相似语义区域的像素相互补充，从而消除来自无关区域的干扰。此外，我们引入了焦点区域损失以引导模型自适应地关注恢复高难度区域。广泛的实验表明，RAT 在各种医学图像恢复任务中均表现出色，包括 PET 图像合成、CT 图像去噪和病理图像超分辨率。代码已公开。