DeGMix：基于可变形与门控混合器的高效多任务密集预测
计算机视觉与模式识别
2025-11-04 v5
摘要
卷积神经网络与 Transformer 各有优势，二者均已广泛用于多任务学习（MTL）中的密集预测。现有研究通常独立采用 CNN（有效捕捉局部空间模式）或 Transformer（捕捉长程依赖），但融合二者优势或可得到更鲁棒的模型。本文提出一种高效 MTL 模型，将可变形 CNN 的自适应能力与基于查询的 Transformer 及共享门控相结合，用于密集预测的 MTL。该组合因其强大而灵活的任务特定学习能力，以及相比传统 MTL 方法成本更低、复杂度更小、参数量更少而可能提供简洁高效的方案。我们引入了基于可变形与门控混合器的高效多任务密集预测方法（DeGMix）。首先，可变形混合编码器包含两类算子：通道感知混合算子用于实现不同通道间通信，以及应用可变形卷积的空间感知可变形算子以高效采样更具信息量的空间位置。其次，任务感知门控 Transformer 解码器用于执行任务特定预测，其中集成自注意力的任务交互块用于捕捉任务交互特征，集成门控注意力的任务查询块用于动态选择相应任务特定特征。此外，实验结果表明，所提 DeGMix 使用的 GFLOPs 更少，并在三个密集预测数据集的多种指标上显著优于当前基于 Transformer 和基于 CNN 的竞争性模型。我们的代码与模型见 https://github.com/yangyangxu0/DeMTG。
引用
@article{arxiv.2308.05721,
title = {DeGMix: Efficient Multi-Task Dense Prediction with Deformable and Gating Mixer},
author = {Yangyang Xu and Yibo Yang and Bernard Ghanem and Lefei Zhang and Bo Du and Jun Zhu},
journal= {arXiv preprint arXiv:2308.05721},
year = {2025}
}