VIRT：通过虚拟交互改进基于表示的文本匹配模型
计算与语言
2022-10-20 v3
摘要
随着预训练 Transformer 的蓬勃发展，基于 Siamese Transformer 编码器的表示模型已成为高效文本匹配的主流技术。然而，与基于交互的模型相比，这些模型由于缺乏文本对之间的交互而遭受严重的性能下降。现有技术试图通过对 Siamese 编码表示执行额外交互来解决此问题，但编码过程中的交互仍然被忽略。为弥补这一缺陷，我们提出了一种虚拟交互机制 (VIRT)，通过注意力图蒸馏将交互知识从基于交互的模型迁移到 Siamese 编码器中。作为一个仅在训练时使用的组件，VIRT 可以完全保持 Siamese 结构的高效性，并且在推理过程中不引入额外的计算成本。为了充分利用学习到的交互知识，我们进一步设计了一种 VIRT 适配的交互策略。在多个文本匹配数据集上的实验结果表明，我们的方法优于最先进的基于表示的模型。此外，VIRT 可以轻松集成到现有的基于表示的方法中，以实现进一步的改进。
引用
@article{arxiv.2112.04195,
title = {VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction},
author = {Dan Li and Yang Yang and Hongyin Tang and Jingang Wang and Tong Xu and Wei Wu and Enhong Chen},
journal= {arXiv preprint arXiv:2112.04195},
year = {2022}
}
备注
Accepted by EMNLP 2022