LDC-MTL：通过可扩展损失差异控制实现多任务学习的平衡
机器学习
2025-09-29 v3
摘要
多任务学习（MTL）因其能够同时学习多个任务的能力而被广泛采用。虽然现有的梯度操作方法通常比基于简单标量化的方法更具平衡性，但它们通常在时间和内存上都需要 的显著计算开销，其中 为任务数。本文提出了 LDC-MTL，这是一种简单的可扩展损失差异控制方法，用于 MTL，从 bilevel 优化的视角进行形式化。我们的方法包含两个关键组件：(i) 用于细粒度损失差异控制的 bilevel 公式，和 (ii) 需要仅 时间和内存的可扩展一阶 bilevel 算法。理论上，我们证明了 LDC-MTL 不仅保证收敛于具有损失差异控制的 bilevel 问题的稳态点，也保证收敛于所有 个损失函数的 精确帕累托稳态点。针对多样化的多任务数据集进行大量实验表明，LDC-MTL 在准确性和效率方面均表现出优越性能。
引用
@article{arxiv.2502.08585,
title = {LDC-MTL: Balancing Multi-Task Learning through Scalable Loss Discrepancy Control},
author = {Peiyao Xiao and Chaosheng Dong and Shaofeng Zou and Kaiyi Ji},
journal= {arXiv preprint arXiv:2502.08585},
year = {2025}
}