SLAW：用于高效多任务学习的缩放损失近似加权
机器学习
2021-09-20 v1
摘要
多任务学习（MTL）是机器学习的一个子领域，具有重要应用，但 MTL 中优化的多目标性质导致在任务间平衡训练困难。最佳的 MTL 优化方法需要分别计算每个任务损失函数的梯度，这阻碍了对大量任务的可扩展性。本文提出缩放损失近似加权（SLAW），一种多任务优化方法，在匹配最佳现有方法性能的同时更高效。SLAW 通过估计每个任务梯度的模长而不执行任何额外反向传播来平衡任务间学习。我们为 SLAW 的梯度模长估计提供理论与实证依据。在非线性回归、多任务计算机视觉和药物发现虚拟筛选上的实验结果表明，SLAW 比强基线显著更高效且不牺牲性能，并适用于多样化领域。
引用
@article{arxiv.2109.08218,
title = {SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning},
author = {Michael Crawshaw and Jana Košecká},
journal= {arXiv preprint arXiv:2109.08218},
year = {2021}
}