SkillNet-X：一种具有稀疏激活技能的多语言多任务模型
计算与语言
2023-06-29 v1
摘要
传统的多任务学习方法基本上只能按任务或语言维度利用共性知识，从而丢失跨语言或跨任务知识。本文提出一种通用的多语言多任务模型，称为 SkillNet-X，它使单一模型能够处理来自不同语言的许多不同任务。为此，我们定义了若干语言特定技能和任务特定技能，每个技能对应一个技能模块。SkillNet-X 稀疏激活与目标任务或目标语言相关的部分技能模块。作为知识中转枢纽，技能模块能够连续吸收任务相关知识和语言相关知识。基于 Transformer，我们修改了多头注意力层和前馈网络层以适应技能模块。我们在四种语言的十一个自然语言理解数据集上评估了 SkillNet-X。结果表明，SkillNet-X 优于任务特定基线和两种多任务学习基线（即稠密联合模型和 Mixture-of-Experts 模型）。此外，技能预训练进一步提升了 SkillNet-X 在几乎所有数据集上的性能。为探究模型的泛化能力，我们在两个新任务上进行了实验，发现 SkillNet-X 显著优于基线。
引用
@article{arxiv.2306.16176,
title = {SkillNet-X: A Multilingual Multitask Model with Sparsely Activated Skills},
author = {Zhangyin Feng and Yong Dai and Fan Zhang and Duyu Tang and Xiaocheng Feng and Shuangzhi Wu and Bing Qin and Yunbo Cao and Shuming Shi},
journal= {arXiv preprint arXiv:2306.16176},
year = {2023}
}