通过减少开放域问答中无关文档的干扰来改进零样本阅读器
计算与语言
2023-11-15 v3 人工智能
摘要
大语言模型（LLMs）使开放域问答（ODQA）中的零样本方法成为可能，但相较于检索器，阅读器的进展仍有限。本研究旨在探讨零样本阅读器的可行性，以应对计算成本和标注数据需求带来的挑战。我们发现，当 LLMs 被用作零样本阅读器时，会因检索集中的无关文档以及生成答案的过度自信而受到干扰。为解决这些问题，我们通过基于否定的指令和分数调整的干扰感知答案选择（DAS）来减轻此类文档的影响，以实现恰当答案选择。实验结果表明，我们的方法能成功处理多种场景下的干扰，提升零样本阅读器的性能。此外，与难以应对未见数据的有监督阅读器不同，零样本阅读器无需任何训练即展现出卓越的可迁移性。
引用
@article{arxiv.2310.17490,
title = {Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering},
author = {Sukmin Cho and Jeongyeon Seo and Soyeong Jeong and Jong C. Park},
journal= {arXiv preprint arXiv:2310.17490},
year = {2023}
}
备注
Findings of EMNLP 2023 Camera Ready