HydaLearn：具有辅助任务的多任务学习的高动态任务加权
机器学习
2020-08-31 v1 机器学习
摘要
多任务学习(MTL)可以通过与一个或多个相关辅助任务共享表示来提高任务性能。通常，MTL网络在由单独任务损失的常数加权组合构成的复合损失函数上进行训练。在实践中，常数损失权重会导致较差的结果，原因有两个：辅助任务的相关性在整个学习过程中可能会逐渐漂移；对于基于小批量的优化，最佳任务权重因小批量样本组成的不同而在每次更新间显著变化。我们引入了HydaLearn，一种智能加权算法，它将主任务增益与各个任务梯度联系起来，以便在小批量级别上为动态损失加权提供信息，从而解决 和。使用HydaLearn，我们报告了在合成数据以及两个监督学习领域上的性能提升。
引用
@article{arxiv.2008.11643,
title = {HydaLearn: Highly Dynamic Task Weighting for Multi-task Learning with Auxiliary Tasks},
author = {Sam Verboven and Muhammad Hafeez Chaudhary and Jeroen Berrevoets and Wouter Verbeke},
journal= {arXiv preprint arXiv:2008.11643},
year = {2020}
}