问答系统上下文使用的理想特性

先前的研究揭示了当前最先进的基于上下文的问答（QA）系统中一系列常见问题：当上下文与模型参数化知识冲突时缺乏对上下文的关注，对噪声的鲁棒性差，以及答案缺乏一致性。然而，大多数先前的工作孤立地关注其中一个或两个问题，这使得难以发现它们之间的趋势。我们旨在通过首先概述一套——先前讨论过的以及新颖的——QA 模型的理想特性来弥补这一差距。然后，我们调查了相关的分析和方法的论文，以提供该领域现状的概述。我们工作的第二部分展示了实验，其中我们根据所有理想特性，在 5 个数据集上一次性评估了 15 个 QA 系统。我们发现了许多新趋势，包括：（1）对噪声不太敏感的系统在给定不相关上下文时，其答案不一定更一致；（2）大多数对噪声更敏感的系统更有可能根据与其参数化知识冲突的上下文正确回答；（3）冲突知识和噪声的结合可使系统性能降低高达 96%。因此，我们的理想特性有助于加深我们对这些模型工作原理的理解，并揭示了潜在的改进途径。