AdaTask：一种面向多任务学习的任务感知自适应学习率方法

多任务学习（MTL）模型在计算机视觉、自然语言处理和推荐系统等领域取得了令人瞩目的成果。尽管已提出许多方法，但这些方法如何在每个参数上平衡不同任务仍不清楚。本文中，我们提出通过每个任务在该参数上的总更新量来衡量参数的任务主导程度。具体来说，我们通过对应任务在该参数上的平方更新量的指数衰减平均值（AU）来计算总更新量。基于这一新颖的度量，我们观察到现有 MTL 方法中的许多参数，尤其是那些在较高共享层中的参数，仍然被一个或几个任务所主导。AU 的主导性主要源于一个或几个任务的累积梯度占主导。受此启发，我们提出了一种任务感知的自适应学习率方法，简称 AdaTask，旨在自适应学习率方法（如 AdaGrad、RMSProp 和 Adam）中，为每个参数分离每个任务的累积梯度，从而分离其学习率。在计算机视觉和推荐系统 MTL 数据集上的综合实验表明，AdaTask 显著提升了被主导任务的性能，达到了最先进的平均任务性能。对合成数据集和真实世界数据集的分析表明，AdaTask 能很好地平衡每个共享层中的参数。