用于问答的动量对比预训练
计算与语言
2023-10-17 v3 人工智能
摘要
现有的抽取式问答（QA）预训练方法生成的完形填空式查询在句法结构上与自然问题不同，这可能使预训练模型过拟合于简单的关键词匹配。为解决此问题，我们提出了一种新颖的用于抽取式 QA 的动量对比预训练（MCROSS）方法。具体而言，MCROSS 引入了动量对比学习框架，以对齐完形填空式与自然查询-段落样本对之间的答案概率。因此，预训练模型能更好地将完形填空式样本中学到的知识迁移到回答自然问题上。在三个基准 QA 数据集上的实验结果表明，我们的方法在有监督和零样本场景下相比所有基线均取得了显著提升。
引用
@article{arxiv.2212.05762,
title = {Momentum Contrastive Pre-training for Question Answering},
author = {Minda Hu and Muzhi Li and Yasheng Wang and Irwin King},
journal= {arXiv preprint arXiv:2212.05762},
year = {2023}
}
备注
This work has been accepted by EMNLP 2022. Reference to ACL Anthology: https://aclanthology.org/2022.emnlp-main.291.pdf