为多任务学习注入不平衡敏感性
机器学习
2025-03-12 v1 人工智能
摘要
多任务学习（MTL）已成为在实际应用中部署深度学习模型的一种极具前景的方法。最近的研究提出了基于优化的学习范式，以在 MTL 中建立任务共享表示。然而，本文从经验上论证指出，这些研究，特别是基于梯度的研究，主要强调了冲突问题，而忽略了 MTL 中不平衡/主导性可能更为显著的影响。基于这一观点，我们通过对投影范数施加约束来注入不平衡敏感性，从而增强了现有的基线方法。为了证明我们提出的对不平衡敏感的梯度（IMGrad）下降方法的有效性，我们在多个主流 MTL 基准上对其进行了评估，涵盖了监督学习任务以及强化学习。实验结果一致表明其具有竞争力的性能。
引用
@article{arxiv.2503.08006,
title = {Injecting Imbalance Sensitivity for Multi-Task Learning},
author = {Zhipeng Zhou and Liu Liu and Peilin Zhao and Wei Gong},
journal= {arXiv preprint arXiv:2503.08006},
year = {2025}
}
备注
9 pages, 6 figures, 4 tables