AutoSeM：多任务学习中的自动任务选择与混合
计算与语言
2019-04-09 v1 机器学习
机器学习
摘要
多任务学习（MTL）在广泛问题上取得了成功，其目标是通过一组相关辅助任务提升主任务的性能。然而，当辅助任务相对于主任务的有用性无法先验获知时，MTL模型的成功依赖于对这些辅助任务的正确选择，以及在交替训练中对这些任务的均衡混合比例。这两个问题可通过人工直觉或对所有组合任务选择的超参数调优来解决，但这会引入归纳偏置，或在候选辅助任务数量极大时无法扩展。为解决这些问题，我们提出AutoSeM，一种两阶段MTL流水线：第一阶段通过带Thompson采样的Beta-Bernoulli多臂赌博机自动选择最有用的辅助任务，第二阶段通过基于高斯过程的贝叶斯优化框架学习所选辅助任务的训练混合比例。我们在GLUE语言理解任务上进行了若干MTL实验，表明我们的AutoSeM框架能成功找到相关辅助任务并自动学习其混合比例，在多个主任务上取得显著性能提升。最后，我们对AutoSeM各阶段进行了消融实验并分析了学到的辅助任务选择。
引用
@article{arxiv.1904.04153,
title = {AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning},
author = {Han Guo and Ramakanth Pasunuru and Mohit Bansal},
journal= {arXiv preprint arXiv:1904.04153},
year = {2019}
}
备注
NAACL 2019 (12 pages)