ForkMerge：缓解辅助任务学习中的负迁移
机器学习
2023-11-17 v3
摘要
辅助任务学习（ATL）旨在利用从相关任务中获得的知识来提升目标任务的性能。偶尔地，同时学习多个任务会导致比仅学习目标任务更低的准确率，这被称为负迁移。该问题常归因于任务间的梯度冲突，且以往工作多通过协调任务梯度来解决。然而，这些基于优化的方法在很大程度上忽视了辅助—目标泛化能力。为更好地理解负迁移的根本原因，我们从优化与泛化两个角度对其进行了实验探究。基于我们的发现，我们引入了 ForkMerge，一种新方法：它周期性地将模型分叉为多个分支，通过最小化目标验证误差自动搜索变化的任务权重，并动态合并所有分支以滤除有害的任务参数更新。在一系列辅助任务学习基准上，ForkMerge 优于现有方法并有效缓解了负迁移。
引用
@article{arxiv.2301.12618,
title = {ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning},
author = {Junguang Jiang and Baixu Chen and Junwei Pan and Ximei Wang and Liu Dapeng and Jie Jiang and Mingsheng Long},
journal= {arXiv preprint arXiv:2301.12618},
year = {2023}
}
备注
Accepted by NeurIPS 2023