MTLSegFormer: 结合 Transformer 的精准农业语义分割多任务学习
计算机视觉与模式识别
2023-05-05 v1 人工智能
摘要
多任务学习已被证明能有效提升相关任务的性能。现有多数方法使用一个骨干网络提取初始特征,并为每个任务设置独立分支,分支间的信息交换通常通过分支特征图的拼接或求和实现。然而,此类信息交换并未直接考虑图像的局部特性,也未考虑任务间的重要性程度或相关性。本文提出一种语义分割方法 MTLSegFormer,其结合了多任务学习与注意力机制。在骨干网络提取特征后,为每个任务学习两张特征图。第一张图用于学习与其任务相关的特征,而第二张图通过对其他任务的特征图施加可学习的视觉注意力进行局部重加权得到。由此,为其他任务图像中对特定任务更重要的局部区域分配权重。最后,将两张图融合并用于解决某一任务。我们在两个具有相关任务的挑战性问题上测试了性能,观察到准确率显著提升,主要在高度依赖其他任务的任务上。
引用
@article{arxiv.2305.02813,
title = {MTLSegFormer: Multi-task Learning with Transformers for Semantic Segmentation in Precision Agriculture},
author = {Diogo Nunes Goncalves and Jose Marcato Junior and Pedro Zamboni and Hemerson Pistori and Jonathan Li and Keiller Nogueira and Wesley Nunes Goncalves},
journal= {arXiv preprint arXiv:2305.02813},
year = {2023}
}
备注
Accepted 4th Agriculture-Vision Workshop - CVPRW