Gated Differential Linear Attention: 用于高保真医学分割的线性时间解码器
计算机视觉与模式识别
2026-05-04 v4
摘要
医学图像分割需要能够保持细微解剖边界的模型，同时适用于临床部署。变压器能够捕获长程依赖，但计算成本为二次注意力费用，而卷积神经网络则高效但在全局推理方面效果较差。线性注意力提供的规模，但常产生平滑的特征聚合，削弱边界敏感预测。我们引入一种用于医学图像分割的门控差分线性注意力混合器。其全局路径采用Gated Differential Linear Attention（GDLA），通过对两个在互补查询/键子空间上进行的核化注意力分支执行差分减法，以抑制冗余响应，并采用数据依赖门进行token细化。并行的局部token混合分支采用深度可分离卷积以强化邻域互动以获得更好的细化，两个分支在保持复杂度的同时进行融合。当在预训练的Pyramid Vision Transformer（PVT）基础编码器--解码器模型中实现时，\name 在评估的2D医学分割基准（包括CT、MRI、超声和皮肤病理）上取得最先进的结果，在准确率与效率之间实现了有利的权衡。代码已公开available at https://github.com/xmindflow/gdla
引用
@article{arxiv.2603.02727,
title = {Gated Differential Linear Attention: A Linear-Time Decoder for High-Fidelity Medical Segmentation},
author = {Hongbo Zheng and Afshin Bozorgpour and Dorit Merhof and Minjia Zhang},
journal= {arXiv preprint arXiv:2603.02727},
year = {2026}
}