干细胞假说：Transformer 编码器多任务学习背后的困境
计算与语言
2021-09-16 v1 人工智能
摘要
基于 Transformer 编码器的多任务学习（MTL）已成为一种提升紧密关联任务上准确率与效率的强大技术，然而它在本质上不同的任务上是否仍能表现良好仍存疑问。我们首先给出在五个 NLP 任务（POS、NER、DEP、CON 和 SRL）上的 MTL 结果，并指出其相对于单任务学习的不足。随后我们进行广泛的剪枝分析，表明在 MTL 期间绝大多数任务都会占用一组特定的注意力头，它们相互干扰以针对各自目标微调这些头。基于该发现，我们提出干细胞假说，揭示存在天然擅长多种任务的注意力头，却无法被联合训练以为所有这些任务创建充分的嵌入。最后，我们设计新颖的无参数探针来验证我们的假说，并通过标签分析展示 MTL 期间注意力头如何在五个任务间发生转变。
引用
@article{arxiv.2109.06939,
title = {The Stem Cell Hypothesis: Dilemma behind Multi-Task Learning with Transformer Encoders},
author = {Han He and Jinho D. Choi},
journal= {arXiv preprint arXiv:2109.06939},
year = {2021}
}
备注
Accepted to EMNLP 2021: The 2021 Conference on Empirical Methods in Natural Language Processing