面向多任务学习的双重均衡方法
机器学习
2025-11-27 v3 人工智能
摘要
多任务学习旨在同时学习多个相关任务，并在诸多领域取得了巨大成功。然而，任务间损失与梯度尺度的差异常导致性能折损，任务均衡仍是一项重大挑战。本文提出双重均衡多任务学习（DB-MTL），从损失与梯度两个视角实现任务均衡。具体而言，DB-MTL通过对各任务损失进行对数变换实现损失尺度均衡，并利用最大梯度范数将所有任务梯度归一化至可比拟的幅度以重缩放梯度大小。在多个基准数据集上的大量实验表明，DB-MTL持续优于当前最优方法。
引用
@article{arxiv.2308.12029,
title = {Dual-Balancing for Multi-Task Learning},
author = {Baijiong Lin and Weisen Jiang and Feiyang Ye and Yu Zhang and Pengguang Chen and Ying-Cong Chen and Shu Liu and Ivor W. Tsang and James T. Kwok},
journal= {arXiv preprint arXiv:2308.12029},
year = {2025}
}
备注
Accepted by Neural Networks