MTI-Net：用于多任务学习的多尺度任务交互网络
计算机视觉与模式识别
2020-07-10 v5
摘要
在本文中，我们论证了在多任务学习设置中提炼任务信息时考虑多尺度任务交互的重要性。与普遍看法相反，我们表明在特定尺度上具有高亲和力的任务不能保证在其他尺度上保持该行为，反之亦然。我们提出了一种新颖架构，即 MTI-Net，它基于这一发现从三个方面构建。首先，它通过多尺度多模态蒸馏单元在每个尺度显式建模任务交互。其次，它通过特征传播模块将提炼的任务信息从较低尺度传播到较高尺度。第三，它通过特征聚合单元聚合来自所有尺度的精炼任务特征以产生最终的逐任务预测。在两个多任务密集标注数据集上的大量实验表明，与先前工作不同，我们的多任务模型发挥了多任务学习的全部潜力，即相对于单任务学习更小的内存占用、更少的计算量和更好的性能。代码已公开：https://github.com/SimonVandenhende/Multi-Task-Learning-PyTorch。
引用
@article{arxiv.2001.06902,
title = {MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning},
author = {Simon Vandenhende and Stamatios Georgoulis and Luc Van Gool},
journal= {arXiv preprint arXiv:2001.06902},
year = {2020}
}
备注
Accepted at ECCV2020 (spotlight) - Code: https://github.com/SimonVandenhende/Multi-Task-Learning-PyTorch