Passage-Mask：一种用于检索-阅读模型的可学习正则化策略
计算与语言
2022-11-04 v2 人工智能
机器学习
摘要
检索-阅读模型在开放问答和对话交互等许多不同 NLP 任务上取得了具有竞争力的性能。在本工作中，我们注意到这些模型容易对排名靠前的检索段落过拟合，且标准训练无法对全部检索段落进行推理。我们引入一种可学习的段落掩码机制，削弱排名靠前检索段落的影响并防止模型过拟合。通过以较少掩码候选控制梯度方差，并利用单步双层优化选择掩码候选，我们的可学习正则化策略迫使答案生成聚焦于全部检索段落。在开放问答、对话交互和事实验证等不同任务上的实验表明，我们的方法一致优于其基线。大量实验与消融研究证明，我们的方法具有通用性、有效性，并有益于许多 NLP 任务。
引用
@article{arxiv.2211.00915,
title = {Passage-Mask: A Learnable Regularization Strategy for Retriever-Reader Models},
author = {Shujian Zhang and Chengyue Gong and Xingchao Liu},
journal= {arXiv preprint arXiv:2211.00915},
year = {2022}
}
备注
EMNLP 2022