Rep-MTL：基于表示级任务显著性释放多任务学习的潜力
机器学习
2025-07-29 v1 计算机视觉与模式识别
摘要
尽管多任务学习在利用跨任务的互补知识方面前景广阔，但现有的多任务优化（MTO）技术仍专注于通过优化器中心的损失缩放和梯度操作策略来解决冲突，却未能实现持续的性能提升。本文认为，共享表示空间——即任务相互作用自然发生的地方——蕴含丰富的信息和潜力，可为现有优化器提供补充操作，尤其有助于促进任务间的互补性，而这在 MTO 领域鲜有探索。基于此直觉，我们提出了 Rep-MTL，通过利用表示级任务显著性来量化任务特定优化与共享表示学习之间的相互作用。通过对这些显著性进行熵基惩罚和样本级跨任务对齐，Rep-MTL 旨在通过维持个别任务的有效训练（而非仅解决冲突），来缓解负迁移，同时显式促进互补信息的共享。我们在四个覆盖任务迁移和域迁移情景的具有挑战性的 MTL 基准上进行实验。结果表明，Rep-MTL 即使配合基础的等权重策略，也能实现与竞争性性能相当的提升，同时具有良好的效率。除标准性能指标外，幂律指数分析还显示 Rep-MTL 在平衡任务特定学习与跨任务共享方面具有有效性。项目页面可在 HERE 处访问。
引用
@article{arxiv.2507.21049,
title = {Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning},
author = {Zedong Wang and Siyuan Li and Dan Xu},
journal= {arXiv preprint arXiv:2507.21049},
year = {2025}
}
备注
ICCV 2025 (Highlight). Project page: https://jacky1128.github.io/RepMTL/