LittleBird：面向问答任务的高效更快更长Transformer
计算与语言
2023-04-13 v2 人工智能
摘要
BERT在各类NLP任务中取得了巨大成功。但由于其注意力机制，它在处理长输入时存在局限。Longformer、ETC和BigBird解决了这一问题，并有效克服了二次依赖问题。然而我们发现这些模型尚不充分，并提出LittleBird——一种基于BigBird、在保持精度的同时提升速度与减少内存占用的新模型。具体而言，我们设计了一种更灵活高效的基于线性偏置注意力（ALiBi）的位置表示方法。我们还表明，用pack and unpack注意力替换BigBird中全局信息的表示方式更为有效。所提模型即使在短输入上预训练后也能处理长输入，并且可通过复用现有短输入预训练语言模型进行高效训练。这对于难以获取大量长文本数据的低资源语言是一项重要优势。实验结果表明，LittleBird在多种语言中表现良好，在问答任务中取得高性能，尤其在KorQuAD2.0（面向长段落的韩语问答数据集）上。
引用
@article{arxiv.2210.11870,
title = {LittleBird: Efficient Faster & Longer Transformer for Question Answering},
author = {Minchul Lee and Kijong Han and Myeong Cheol Shin},
journal= {arXiv preprint arXiv:2210.11870},
year = {2023}
}
备注
Accepted to EMNLP 2022. see https://aclanthology.org/2022.emnlp-main.352/