一次足矣：用于快速句子对建模的轻量级交叉注意力
计算与语言
2023-10-24 v3 人工智能
摘要
基于Transformer的模型在答案选择与自然语言推理(NLI)等句子对建模任务上取得了巨大成功。这些模型通常对输入对执行交叉注意力，导致高昂的计算成本。近期研究提出双编码器与后期交互架构以加速计算。然而，交叉注意力的表达力与计算加速之间的平衡仍亟待更好协调。为此，本文引入一种用于高效句子对建模的新范式MixEncoder。MixEncoder采用轻量级交叉注意力机制，仅对查询编码一次，同时并行建模查询-候选交互。在四个任务上的大量实验表明，我们的MixEncoder可将句子配对加速113倍以上，同时取得与更昂贵的交叉注意力模型相当的性能。
引用
@article{arxiv.2210.05261,
title = {Once is Enough: A Light-Weight Cross-Attention for Fast Sentence Pair Modeling},
author = {Yuanhang Yang and Shiyi Qi and Chuanyi Liu and Qifan Wang and Cuiyun Gao and Zenglin Xu},
journal= {arXiv preprint arXiv:2210.05261},
year = {2023}
}
备注
Accepted to EMNLP 2023