考察多任务学习中的常见范式

尽管多任务学习（MTL）近年获得显著关注，其内在机制仍知之甚少。近期方法相较单任务学习（STL）基线未产生一致的性能提升，凸显了对 MTL 特有挑战获得更深刻见解的重要性。在我们的研究中，我们在 STL 背景下考察 MTL 中的范式：首先，优化器选择的影响在 MTL 中仅被轻微探究。我们通过多组实验实证展示了 Adam 优化器等常见 STL 工具在 MTL 中的关键作用。为进一步探究 Adam 的有效性，我们在温和假设下理论推导了部分损失尺度不变性。其次，梯度冲突的概念常被表述为 MTL 中的特定问题。我们深入探究梯度冲突在 MTL 中的角色并与 STL 比较。对于角度梯度对齐，我们未发现其为 MTL 独有问题的证据。我们强调梯度幅度的差异作为主要区分因素。总体而言，我们发现 STL 与 MTL 间令人惊讶的相似性，建议在更广阔背景下考量两领域的方法。