游走于灰色地带：不确定性与过度自信的表达如何影响语言模型
计算与语言
2023-11-14 v2 人工智能
摘要
随着语言模型（LM）在涉及知识与事实的真实世界任务中部署日益增多，理解模型认识论变得十分重要：即语言模型认为自己知道什么，以及它们对知识的态度如何受到输入中语言使用的影响。在此，我们研究模型认识论的一个方面：确定性、不确定性或证据性的认知标记（如“我确定是”、“我认为它是”、“维基百科说它是”）如何影响模型，以及它们是否导致模型失败。我们开发了认知标记的类型学，并将 50 个标记注入问答提示中。我们发现，语言模型对提示中的认知标记高度敏感，准确率变化超过 80%。令人惊讶的是，我们发现高确定性表达相比低确定性表达导致准确率下降 7%；类似地，叙实动词损害性能，而证据性标记有益于性能。我们对一个流行预训练数据集的分析表明，这些不确定性标记与问答网站上的答案相关联，而确定性标记与问题相关联。这些关联可能表明，语言模型的行为基于模仿观察到的语言使用，而非真正反映认知不确定性。
引用
@article{arxiv.2302.13439,
title = {Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models},
author = {Kaitlyn Zhou and Dan Jurafsky and Tatsunori Hashimoto},
journal= {arXiv preprint arXiv:2302.13439},
year = {2023}
}
备注
EMNLP 2023 (Oral)