实例级任务参数:一种鲁棒的多任务损失加权框架
计算机视觉与模式识别
2021-06-14 v1 机器学习
摘要
近期工作表明,深度神经网络通过跨多个相关任务学习共享表示而受益于多任务学习。然而,此类系统的性能取决于训练期间所涉及各种损失之间的相对加权。已有的损失加权方案假设实例对所有任务而言同等简单或困难。为打破该假设,我们让训练过程决定数据集中每个实例的任务最优加权。更具体地,我们为数据集中的每个实例配备一组可学习参数(实例级任务参数),其数量等于模型所学习任务数。这些参数建模了某一实例各任务的权重,通过梯度下降更新,无需手工规则。我们在 SURREAL 和 CityScapes 数据集上进行了人体形状与姿态估计、深度估计和语义分割任务的广泛实验。在这些任务中,我们的方法优于近期的动态损失加权方法,例如在 SURREAL 上将表面估计误差降低 8.97%。当应用于一个或多个任务存在噪声标注的数据集时,所提方法学会针对给定任务优先从干净标签中学习,例如将表面估计误差降低多达 60%。我们还表明,作为学习到的实例级任务参数的副产品,我们可以可靠地检测给定任务的损坏标签。
引用
@article{arxiv.2106.06129,
title = {Instance-Level Task Parameters: A Robust Multi-task Weighting Framework},
author = {Pavan Kumar Anasosalu Vasu and Shreyas Saxena and Oncel Tuzel},
journal= {arXiv preprint arXiv:2106.06129},
year = {2021}
}