探究高级优化器在多任务学习中的适用性
机器学习
2026-04-13 v1
摘要
多任务学习(MTL)是机器学习领域的一个基础性问题,已发展了十余年。近期出现了各种基于优化的 MTL 方法,通过改变优化轨迹来同时学习多个任务。尽管这些方法努力消除冲突并重新平衡任务,但我们经验性地发现,其有效性常常因忽略的一个因素而受到削弱：即时派生的梯度在实际参数更新中仅起次要作用。这一差异性阻止了 MTL 框架充分释放其在学习动力学方面的潜力。此外,我们观察到 Muon—a 近期出现的高级优化器-本质上功能作为一种多任务学习器,这凸显了其正交化中所用梯度的关键重要性。为解决这些问题,我们提出APT(Applicability of advanced oPTimizers),一个具有简单自适应动量机制的框架,用于平衡高级优化器和 MTL 之间的优势。此外,我们引入一种轻量级方向保持方法,以促进 Muon 的正交化。广泛的实验在四个主流 MTL 数据集上表明,APT 持续地增强现有 MTL 方法,显著提升性能。
引用
@article{arxiv.2604.08939,
title = {Delve into the Applicability of Advanced Optimizers for Multi-Task Learning},
author = {Zhipeng Zhou and Linxiao Cao and Pengcheng Wu and Peilin Zhao and Chunyan Miao},
journal= {arXiv preprint arXiv:2604.08939},
year = {2026}
}
备注
12 pages, 5 figures