ReadOnce Transformers：文本的可复用表示
计算与语言
2021-08-05 v2 人工智能
摘要
我们提出ReadOnce Transformers，一种将基于transformer的模型转换为能够构建捕获信息、任务无关且压缩的文本表示的方法。所得表示可跨不同样本与任务复用，从而使得在多个样本或任务间共享的文档只需\emph{读取一次}。这带来了更快的模型训练与评估。此外，我们将标准文本到文本transformer模型扩展为表示+文本到文本模型，并在多个下游任务上评估：多跳问答、抽象式问答和长文档摘要。我们一次性计算的表示相比标准文本到文本模型实现了2倍至5倍的加速，同时压缩还使现有语言模型能够处理更长文档，而无需设计新的预训练模型。
引用
@article{arxiv.2010.12854,
title = {ReadOnce Transformers: Reusable Representations of Text for Transformers},
author = {Shih-Ting Lin and Ashish Sabharwal and Tushar Khot},
journal= {arXiv preprint arXiv:2010.12854},
year = {2021}
}
备注
Accepted to ACL 2021(Camera Ready)