多任务学习中平衡任务难度的一种简单通用方法
机器学习
2020-02-13 v1 机器学习
摘要
在多任务学习中，不同任务的难度水平各不相同。已有许多工作来处理这种情况，我们将其分为五类，包括直接求和法、加权和法、最大值法、课程学习法和多目标优化法。这些方法各有其局限性，例如使用人工设计的规则来更新任务权重、目标函数非光滑，以及无法纳入训练损失以外的其它函数。在本文中，为缓解这些局限，我们提出了一种平衡多任务学习（Balanced Multi-Task Learning, BMTL）框架。与依赖任务加权的现有研究不同，BMTL框架提出基于一个直观想法——即训练损失较大的任务在优化过程中将获得更多关注——来变换每个任务的训练损失，以平衡任务间的难度水平。我们分析了变换函数并推导了必要条件。所提出的BMTL框架非常简单，且可与大多数多任务学习模型结合。实证研究表明所提出的BMTL框架具有最先进的性能。
引用
@article{arxiv.2002.04792,
title = {A Simple General Approach to Balance Task Difficulty in Multi-Task Learning},
author = {Sicong Liang and Yu Zhang},
journal= {arXiv preprint arXiv:2002.04792},
year = {2020}
}