基于梯度投影的多任务学习任务加权方法
机器学习
2025-08-07 v1
摘要
在多任务学习中，任务梯度之间的冲突是常见问题，常导致模型训练性能下降。这通常通过使用梯度投影算法 PCGrad 来解决，该算法常导致更快的收敛和 improved performance metrics。本文提出一种方法，使该算法能够同时执行任务优先级排序。我们的做法不同于传统通过缩放任务损失来进行任务加权的方法， our weighting scheme only applies in cases where tasks are in conflict, but lets the training proceed unhindered otherwise。 We 将任务加权因子替换为一个概率分布，用于确定在冲突情况下 Which task gradients get projected。我们在 nuScenes、CIFAR-100 和 CelebA 数据集上的实验表明，我们的方法是一种实用的任务加权方法。Paired with multiple different task weighting schemes, we observe a significant improvement in the performance metrics of most tasks compared to Gradient Projection with uniform projection probabilities。
引用
@article{arxiv.2409.01793,
title = {Task Weighting through Gradient Projection for Multitask Learning},
author = {Christian Bohn and Ido Freeman and Hasan Tercan and Tobias Meisen},
journal= {arXiv preprint arXiv:2409.01793},
year = {2025}
}