我还需要知道什么？背景信息对用户依赖问答系统的影响
计算与语言
2023-10-27 v2 人工智能
摘要
NLP系统在通过检索相关上下文来回答问题方面已展现出令人印象深刻的性能。然而，随着模型日益增大，约束模型的知识或推理仅基于检索到的上下文既不可能也往往不可取。这导致模型用于推导答案的信息与用户可用于评估模型预测答案的信息之间存在不匹配。在本工作中，我们研究用户在缺乏足够信息评估预测时如何与QA系统交互。进一步，我们探究添加必要的背景是否有助于缓解用户对预测的过度依赖。我们的研究揭示，即使在缺乏评估模型正确性所需足够信息的情况下，用户仍依赖模型预测。然而，提供相关背景有助于用户更好地捕捉模型错误，减少对错误预测的过度依赖。另一方面，背景信息也增加了用户对其准确及不准确判断的置信度。我们的工作强调，支持用户验证QA预测是一个重要但具有挑战性的问题。
引用
@article{arxiv.2305.14331,
title = {What Else Do I Need to Know? The Effect of Background Information on Users' Reliance on QA Systems},
author = {Navita Goyal and Eleftheria Briakou and Amanda Liu and Connor Baumler and Claire Bonial and Jeffrey Micher and Clare R. Voss and Marine Carpuat and Hal Daumé},
journal= {arXiv preprint arXiv:2305.14331},
year = {2023}
}