面向文档的大双向插入表示
计算与语言
2019-10-30 v1 机器学习
摘要
插入式 Transformer 由于其并行生成能力而非常适合于长文本生成，生成 个 token 需要 个生成步骤。然而，对长序列建模是困难的，因为在注意力机制中捕获了更多的歧义。本文提出了面向文档的大双向插入表示（Big BIRD），一种基于插入的文档级翻译任务模型。我们将基于插入的模型扩展到长文档。我们的关键贡献是通过源文档与目标文档之间的句子位置嵌入引入句子对齐。与插入式 Transformer 基线相比，我们在 WMT'19 英德文档级翻译任务上展示了 +4.3 BLEU 的提升。
引用
@article{arxiv.1910.13034,
title = {Big Bidirectional Insertion Representations for Documents},
author = {Lala Li and William Chan},
journal= {arXiv preprint arXiv:1910.13034},
year = {2019}
}