GradTS：一种基于Transformer网络的梯度自动辅助任务选择方法
机器学习
2021-09-14 v1 计算与语言
摘要
多任务学习（Multi-Task Learning, MTL）研究中的一个关键问题是如何自动选择高质量的辅助任务。本文提出GradTS，一种基于Transformer模型中梯度计算的自动辅助任务选择方法。与强基线方法AUTOSEM相比，GradTS以bert-base-cased为后端模型提升了MT-DNN在GLUE基准中8项自然语言理解（Natural Language Understanding, NLU）任务上的性能，提升幅度从0.33%到17.93%不等。GradTS也节省时间，因为（1）其梯度计算基于单任务实验；（2）当候选任务集变化时，梯度被复用而无需额外实验。例如，在8项GLUE分类任务上，GradTS平均比AUTOSEM少花费21.32%的时间，且GPU消耗相当。此外，我们展示了GradTS在各种任务设置和模型选择（如候选任务间混合目标）下的鲁棒性。这些案例研究中GradTS的效率与效力说明了其在MTL研究中无需手动任务过滤或昂贵参数调优的普遍适用性。
引用
@article{arxiv.2109.05748,
title = {GradTS: A Gradient-Based Automatic Auxiliary Task Selection Method Based on Transformer Networks},
author = {Weicheng Ma and Renze Lou and Kai Zhang and Lili Wang and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2109.05748},
year = {2021}
}
备注
In EMNLP 2021