面向多任务学习的冲突规避梯度下降
机器学习
2024-02-22 v2 人工智能
摘要
多任务学习的目标是通过为一组多样化任务共享模型结构,实现比单任务学习更高效的学习。标准的多任务学习目标是对所有任务的损失取平均最小化。尽管直接,使用该目标常导致每个任务的最终性能远差于独立学习。优化多任务模型的一大挑战在于冲突梯度,即不同任务目标的梯度未良好对齐,以致沿平均梯度方向更新会损害特定任务的性能。已有工作提出若干启发式方法来操纵任务梯度以缓解该问题,但其中多数缺乏收敛保证和/或可能收敛到任意 Pareto 平稳点。本文中,我们提出冲突规避梯度下降(Conflict-Averse Gradient descent, CAGrad),其在最小化平均损失函数的同时,利用各任务的局部最差改进来正则化算法轨迹。CAGrad 自动平衡各目标,且可证明收敛到平均损失的最小值。它包含了多目标优化(MOO)文献中的常规梯度下降(GD)与多梯度下降算法(MGDA)作为特例。在一系列具有挑战性的多任务监督学习与强化学习任务上,CAGrad 相较先前最先进的多元梯度操纵方法取得了更优性能。
引用
@article{arxiv.2110.14048,
title = {Conflict-Averse Gradient Descent for Multi-task Learning},
author = {Bo Liu and Xingchao Liu and Xiaojie Jin and Peter Stone and Qiang Liu},
journal= {arXiv preprint arXiv:2110.14048},
year = {2024}
}
备注
20 pages, 6 figures, Conference on Neural Information Processing Systems, 2021