多任务学习中的辅助任务

多任务卷积神经网络(CNN)在某些任务组合(如单图像深度估计(SIDE)与语义分割)上已展现出令人印象深刻的成果。这是通过推动网络学习一种对不同的原子任务具有良好泛化能力的鲁棒表征来实现的。我们扩展了这一概念,将对于应用而言次要相关的辅助任务添加到所学习任务集合中。作为一种额外的正则化手段,它们有望提升最终所需主任务的性能。为研究所提出的方法,我们选取基于视觉的道路场景理解(RSU)作为示例应用。由于多任务学习需要专门的数据集,尤其是在使用大量任务时,我们提供了一个用于多任务 RSU 的多模态数据集,称为 synMT。超过 2.5 $\cdot$ 10^5 张合成图像,标注有 21 种不同的标签,从电子游戏 Grand Theft Auto V (GTA V) 中获取。我们提出的深度多任务 CNN 架构使用 synMT 在各种任务组合上进行了训练。实验证实,辅助任务确实能够提升网络性能,无论是在最终结果还是训练时间方面。