DEMix 层：解耦领域以实现模块化语言建模
计算与语言
2021-08-24 v2 人工智能
摘要
我们引入一种新的领域专家混合（DEMix）层，使语言模型（LM）能够以输入文本的领域为条件。DEMix 层是一组专家前馈网络，每个网络专用于一个领域，使 LM 成为模块化的：专家可在初始训练后混合、添加或移除。对自回归 transformer LM（参数多达 1.3B）的大量实验表明，DEMix 层降低了测试时困惑度，提高了训练效率，并以极少开销实现快速适应。我们展示了在推理过程中使用无参数加权集成混合专家，可使模型更好地泛化到异构或未见领域。我们还展示了可添加专家以迭代方式融入新领域而不遗忘旧领域，并且可移除专家以限制对不期望领域的访问，而无需额外训练。总体而言，这些结果证明了在语言建模过程中显式以文本领域为条件的益处。
引用
@article{arxiv.2108.05036,
title = {DEMix Layers: Disentangling Domains for Modular Language Modeling},
author = {Suchin Gururangan and Mike Lewis and Ari Holtzman and Noah A. Smith and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:2108.05036},
year = {2021}
}
备注
edits: updated reference links, added related work, typo fixes