通过适配器将 BERT 融入并行序列解码
计算与语言
2020-10-14 v1
摘要
尽管 BERT 等大规模预训练语言模型在各种自然语言理解任务上取得了巨大成功，如何高效且有效地将其融入序列到序列模型及相应的文本生成任务仍是一个重要问题。本文提出通过分别采用两个不同 BERT 模型作为编码器和解码器，并引入插入于 BERT 层之间、在任务特定数据集上微调的轻量适配器模块来解决该问题。由此，我们获得了一个灵活高效的模型，能够联合利用源端与目标端 BERT 模型所含信息，同时规避灾难性遗忘问题。框架中每个组件均可视为插件单元，使框架灵活且任务无关。我们的框架基于名为 Mask-Predict 的并行序列解码算法，考虑了 BERT 的双向与条件独立特性，并可轻松适配传统自回归解码。我们在神经机器翻译任务上进行了大量实验，所提方法持续优于自回归基线，同时将推理延迟降低一半，并在 IWSLT14 德英/WMT14 德英翻译上取得 / BLEU 分数。当适配自回归解码时，所提方法在 WMT14 英德/英法翻译上取得 / BLEU 分数，与最先进基线模型相当。
引用
@article{arxiv.2010.06138,
title = {Incorporating BERT into Parallel Sequence Decoding with Adapters},
author = {Junliang Guo and Zhirui Zhang and Linli Xu and Hao-Ran Wei and Boxing Chen and Enhong Chen},
journal= {arXiv preprint arXiv:2010.06138},
year = {2020}
}
备注
NeurIPS 2020