公平的多任务学习

多任务学习（MTL）已在计算机视觉（CV）、自然语言处理（NLP）和信息检索（IR）等多个研究领域取得巨大成功。由于任务间相关性的复杂与竞争，朴素地训练所有任务可能导致不公平学习，即某些任务学得好而其他任务被忽视。多任务优化（MTO）旨在同时改进所有任务，但传统方法在任务损失尺度或梯度范数量级差异较大时往往表现不佳。为解决该问题，我们深入研究了 MTL 的公平性问题，发现对共享参数更新中不同任务的相对贡献（即任务特定损失值除以其原始梯度范数）进行正则化可提升 MTL 的泛化性能。基于理论分析，我们提出一种名为 EMTL 的新型多任务优化方法以实现公平的多任务学习。具体而言，我们高效地加入方差正则化使不同任务的相对贡献更接近。我们进行了大量实验评估 EMTL，我们的方法在两个不同研究领域的公开基准数据集上稳定优于最先进方法。此外，还进行了多任务推荐的离线与在线 A/B 测试。EMTL 显著改进了多任务推荐，展示了我们的方法在工业场景中的优越性与实用性。