医学影像中用于位置编码的各向异性傅里叶特征

Transformer 架构在医学领域的应用正在迅速增长。在医学影像中，复杂形状（如器官、组织或其他解剖结构）的分析常伴随高维图像的各向异性特征，这使得上述方法的应用提出了挑战。本研究对位置编码 (PE) 的作用进行了批判性检讨，指出常用方法在医学影像的特定挑战下可能次优。Sinusoidal Position Encoding (SPE) 在视觉任务中表现出色，但在高维空间中难以保持欧几里得距离。Isotropic Fourier Feature Position Encoding (IFPE) 被提出以更好地保持欧几里得距离，但缺乏处理图像各向异性的能力。为此，我们提出 Anisotropic Fourier Feature Position Encoding (AFPE)，这是一种对 IFPE 的推广，融合了各向异性、类别相关及领域相关的空间依赖性。我们对 AFPE 与常用 PE 在胸部 X 光多标签分类、CT 图像器官分类及超声心动图射血分数回归中的性能进行了系统性基准测试。结果表明，选择合适的 PE 可显著提升模型性能。我们指出，最佳 PE 取决于感兴趣结构的形状及数据的各向异性。最终，AFPE 在所有测试的各向异性场景中均显著优于最先进的 PE。我们得出结论，在各向异性医学图像和视频中，选择一个契合数据及感兴趣结构形状的各向异性 PE 至关重要。