基于顺序交叉注意力的多任务学习
计算机视觉与模式识别
2022-09-07 v1
摘要
在面向视觉场景理解的多任务学习（MTL）中，在多个任务之间以最小干扰传递有用信息至关重要。本文提出一种新颖架构，通过对各任务的多尺度特征应用注意力机制来有效传递信息性特征。由于直接将注意力模块应用于尺度和任务维度上所有可能的特征会带来很高的复杂度，我们提出按任务和尺度顺序施加注意力模块。首先应用跨任务注意力模块（CTAM）以促进同一尺度下多个任务特征之间相关信息的交换。随后跨尺度注意力模块（CSAM）在同一任务中聚合来自不同分辨率特征图的有用信息。此外，我们尝试通过特征提取网络中的自注意力模块捕获长程依赖。大量实验表明，我们的方法在 NYUD-v2 和 PASCAL-Context 数据集上取得了最先进的性能。
引用
@article{arxiv.2209.02518,
title = {Sequential Cross Attention Based Multi-task Learning},
author = {Sunkyung Kim and Hyesong Choi and Dongbo Min},
journal= {arXiv preprint arXiv:2209.02518},
year = {2022}
}
备注
ICIP 2022