文本到文本多任务学习者是否遭受任务冲突？
计算与语言
2022-12-14 v1
摘要
传统的多任务学习架构通过共享编码器后接任务特定解码器在多个任务上训练单一模型。学习这些模型通常需要专门的训练算法来解决共享参数更新中的任务冲突，否则可能导致负迁移。NLP 领域内一种新型多任务学习将多任务架构统一为共享编码器和语言模型解码器，其在一系列多样化任务上表现得出奇地好。这种新架构是否会遭受需要专门训练算法的任务冲突？我们研究了向文本到文本模型转变中的某些因素如何影响多任务冲突与负迁移，发现方向性冲突与迁移在不同架构间出奇地恒定。
引用
@article{arxiv.2212.06645,
title = {Do Text-to-Text Multi-Task Learners Suffer from Task Conflict?},
author = {David Mueller and Nicholas Andrews and Mark Dredze},
journal= {arXiv preprint arXiv:2212.06645},
year = {2022}
}
备注
Findings of EMNLP 2022