利用问答交叉嵌入增强双编码器以提升答案检索性能
计算与语言
2022-06-08 v1 人工智能
摘要
双编码器(Dual-Encoders)是问答(QA)系统中答案检索的一种有前景的机制。目前大多数传统双编码器仅通过匹配分数来学习问题和答案的语义表示。研究者提出在打分函数中引入问答交互特征，但代价是推理阶段效率低下。为了在推理阶段保持问题和答案的独立编码，进一步引入变分自编码器，以从问题(答案)嵌入重建答案(问题)作为辅助任务，从而在训练阶段增强表示学习中的问答交互。然而，文本生成与答案检索的需求不同，导致训练困难。在本工作中，我们提出一种框架，利用问答交叉嵌入和一种新颖的几何对齐机制(GAM)来增强双编码器模型，将双编码器与交叉编码器的嵌入几何进行对齐。大量实验结果表明，我们的框架显著改进了双编码器模型，并在多个答案检索数据集上优于最先进的方法。
引用
@article{arxiv.2206.02978,
title = {Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval},
author = {Yanmeng Wang and Jun Bai and Ye Wang and Jianfei Zhang and Wenge Rong and Zongcheng Ji and Shaojun Wang and Jing Xiao},
journal= {arXiv preprint arXiv:2206.02978},
year = {2022}
}
备注
Findings of EMNLP 2021(10 pages)