统一损失与专用优化：多任务学习中的比较分析
机器学习
2026-03-24 v3 人工智能
摘要
专用多任务优化器（SMTO）通过解决诸如梯度冲突和梯度范数差异等问题，在多任务学习中平衡任务学习。然而，最近的批评意见表明，等权重任务训练可实现与SMTO相当的成绩，认为以前的SMTO结果受到差异化超参数优化和缺乏正则化的影响。在本文中，我们通过在更复杂的多任务问题上进行广泛的实证评估，来评估这些论点。我们的发现表明，SMTO在等价损失方面表现良好，且固定权重可实现与SMTO相当的性能。此外，我们进一步阐明了为何在某些情况下，等价损失能够类似于SMTO。源代码可在https://github.com/Gabriel-SGama/UnitScal_vs_SMTOs获取。
引用
@article{arxiv.2505.10347,
title = {Uniform Loss vs. Specialized Optimization: A Comparative Analysis in Multi-Task Learning},
author = {Gabriel S. Gama and Valdir Grassi},
journal= {arXiv preprint arXiv:2505.10347},
year = {2026}
}