PRIMERA：用于多文档摘要的基于金字塔的掩码句子预训练

我们引入了 PRIMERA，一个专注于摘要的多文档表示预训练模型，它减少了对特定数据集架构和大量微调标注数据的需求。PRIMERA 使用了我们新提出的预训练目标，旨在教导模型跨文档连接和聚合信息。它还使用高效的编码器-解码器 Transformer 来简化拼接输入文档的处理。通过在 3 个不同领域的 6 个多文档摘要数据集上，于零样本、少样本和全监督设置下进行的大量实验，PRIMERA 在大多数设置上以较大优势优于当前 SOTA 的特定数据集模型和预训练模型。代码和预训练模型可在 \url{https://github.com/allenai/PRIMER} 找到。