不止编码器：引入 Transformer 解码器进行上采样
计算机视觉与模式识别
2022-11-28 v3 图像与视频处理
摘要
医学图像分割方法对图像下采样以提取特征，然后上采样以恢复分辨率用于像素级预测。在此类架构中，上采样技术对于恢复信息以提升性能至关重要。然而，现有上采样技术很少利用来自下采样路径的信息。与自然图像分割相比，来自较浅层的局部与细节特征（如边界和组织纹理）在医学分割中尤为重要。为此，我们提出一种用于医学图像分割的新型上采样方法——窗口注意力上采样（WAU），其通过引入 Transformer 的注意力解码器，以局部窗口内下采样路径的局部与细节特征为条件对特征进行上采样。WAU 可作为一种通用上采样方法，并入任何具有横向连接的分割模型中。我们首先提出由注意力解码器（AD）和双线性上采样组成的注意力上采样。AD 利用像素级注意力建模长程依赖与全局信息以实现更好的上采样。引入双线性上采样作为残差连接以补充上采样特征。此外，考虑到像素级注意力的巨大内存与计算开销，我们进一步设计窗口注意力方案，将注意力计算限制在局部窗口而非全局范围。我们在具有横向连接的经典 U-Net 结构上评估我们的方法（WAU），并在 Synapse 多器官分割、医学分割十项全能（MSD）脑部和自动心脏诊断挑战赛（ACDC）数据集上取得最先进的性能。我们还在多个经典架构上验证了方法的有效性并取得一致提升。
引用
@article{arxiv.2106.10637,
title = {More than Encoder: Introducing Transformer Decoder to Upsample},
author = {Yijiang Li and Wentian Cai and Ying Gao and Chengming Li and Xiping Hu},
journal= {arXiv preprint arXiv:2106.10637},
year = {2022}
}
备注
Accepted by BIBM2022