开放域 QA 阅读器能否像人类一样高效利用外部知识？
计算与语言
2022-11-24 v1 信息检索
摘要
近期最先进的开放域 QA 模型通常基于两阶段检索器-阅读器方法，其中检索器首先找到相关知识/段落，随后阅读器利用这些知识预测答案。先前工作表明，阅读器的性能通常随这些段落数量的增加而提升。因此，最先进的模型使用大量段落（如 100 个）进行推理。尽管该方法的阅读器取得了高预测性能，其推理在计算上非常昂贵。另一方面，人类在回答时采用更高效的策略：首先，若我们能利用已习得知识自信作答，则根本不使用外部知识；而在确实需要外部知识时，我们不会一次性阅读全部知识，而是仅阅读足以找到答案的那部分知识。受此过程启发，我们提出研究问题“开放域 QA 阅读器能否在不牺牲预测性能的前提下像人类一样高效利用外部知识？”在此问题驱动下，我们探索了一种同时利用“闭卷”（ leveraging 模型参数中已有知识）与“开卷”推理（leveraging 外部知识）的方法。此外，不同于使用大量固定数量段落进行开卷推理，我们在多个“知识迭代”中动态阅读外部知识。通过在 NQ 与 TriviaQA 数据集上的综合实验，我们证明该动态阅读方法同时提升了阅读器的“推理效率”与“预测准确率”。与 FiD 阅读器相比，该方法仅利用其阅读器推理成本的 18.32% 便达到同等准确率，并在 NQ Open 上以最高 55.10% 的准确率超越它。
引用
@article{arxiv.2211.12707,
title = {Can Open-Domain QA Reader Utilize External Knowledge Efficiently like Humans?},
author = {Neeraj Varshney and Man Luo and Chitta Baral},
journal= {arXiv preprint arXiv:2211.12707},
year = {2022}
}
备注
AAAI-23 Workshop on Knowledge Augmented Methods for NLP