在 Transformer 中利用基于小波的高频增强解锁细粒度细节

医学图像分割是一项关键任务，在诊断、治疗规划与疾病监测中发挥着重要作用。从医学图像中准确分割解剖结构与异常有助于多种疾病的早期检测与治疗。本文通过精心重新设计自注意力图以在医学图像中产生准确的密集预测，解决了 Transformer 模型的局部特征不足问题。为此，我们首先应用小波变换将输入特征图分解为低频（LF）与高频（HF）子带。LF 段关联粗粒度特征，而 HF 分量保留纹理与边缘信息等细粒度特征。接着，我们使用高效 Transformer 重构自注意力操作，以在频率表示之上同时执行空间与上下文注意力。此外，为强化边界信息的重要性，我们在 HF 分量上构建高斯金字塔来施加额外的注意力图。而且，我们在跳跃连接中提出多尺度上下文增强块，以自适应建模尺度间依赖，克服编码器与解码器各阶段间的语义鸿沟。通过全面实验，我们在多器官与皮肤病变分割基准上证明了本策略的有效性。实现代码将在录用后公开。\href{https://github.com/mindflow-institue/WaveFormer}{GitHub}。