作为议价博弈的多任务学习
机器学习
2022-07-11 v2 计算机科学与博弈论
摘要
在多任务学习（MTL）中，一个联合模型被训练以同时对多个任务进行预测。联合训练降低了计算成本并提高了数据效率；然而，由于这些不同任务的梯度可能冲突，为MTL训练联合模型常导致其性能低于相应的单任务模型。缓解此问题的一种常见方法是使用特定启发式将各任务梯度组合为联合更新方向。在本文中，我们提出将梯度组合步骤视为一个议价博弈，其中各任务通过协商就参数更新的联合方向达成一致。在特定假设下，该议价问题具有唯一解，即Nash议价解（Nash Bargaining Solution），我们提议将其用作多任务学习的原则性方法。我们描述了一种新的MTL优化过程Nash-MTL，并推导了其收敛性的理论保证。实证上，我们表明Nash-MTL在多个领域的MTL基准上取得了SOTA结果。
引用
@article{arxiv.2202.01017,
title = {Multi-Task Learning as a Bargaining Game},
author = {Aviv Navon and Aviv Shamsian and Idan Achituve and Haggai Maron and Kenji Kawaguchi and Gal Chechik and Ethan Fetaya},
journal= {arXiv preprint arXiv:2202.01017},
year = {2022}
}
备注
ICML 2022