用指数移动平均损失加权策略缓解多任务学习中的负迁移
机器学习
2022-11-24 v1
摘要
多任务学习(MTL)是深度学习中日益受关注的课题,因为相较于使用一组常规单任务模型,它能够更高效地在多个任务上训练模型。然而,MTL 可能不切实际,因为某些任务会主导训练并损害其他任务的性能,从而使得某些任务在单任务模型中比在多任务模型中表现更好。此类问题被广义地归类为负迁移,文献中已提出许多先前方法来缓解这些问题。当前缓解负迁移的一种方法是为每个损失加权,使它们处于同一尺度。而当前的损失平衡方法依赖于优化或复杂数值分析,均不直接基于观测到的量级缩放损失。我们提出了多种基于指数移动平均缩放的损失平衡技术,并在三个公认的数据集上与当前性能最佳的方法进行基准比较。在这些数据集上,它们取得了与当前最佳方法相当乃至更高的性能。
引用
@article{arxiv.2211.12999,
title = {Mitigating Negative Transfer in Multi-Task Learning with Exponential Moving Average Loss Weighting Strategies},
author = {Anish Lakkapragada and Essam Sleiman and Saimourya Surabhi and Dennis P. Wall},
journal= {arXiv preprint arXiv:2211.12999},
year = {2022}
}
备注
AAAI 2023 Student Abstract, Contains Abstract + Appendix / Supplementary Material