QUITE：贝叶斯推理情境下自然语言文本的不确定性量化
计算与语言
2024-10-15 v1
摘要
推理是许多决策过程的关键任务。它需要整合一组常常伴随不确定性程度的规则式前提和观察，以作出结论。在本工作中，我们关注两种情况：前提以数值概率规则形式指定，或人类使用表达确定性程度的词语陈述其估计。现有的概率推理数据集简化了该任务，例如要求模型仅对文本备选方案进行排序，或仅包括二元随机变量，或使用有限的模板导致文本变化较小。在本工作中，我们提出 QUITE，一个来自真实世界贝叶斯推理情境的问答数据集，包含类别型随机变量和复杂关系。QUITE 提供高质量的自然语言前提表述，包含证据陈述，要求对问题给出估计概率的答案。我们进行了广泛的实验，发现基于逻辑的模型在所有推理类型（因果、证据和解释消除）中均优于即插即用的大语言模型。我们的结果表明，神经符号模型是提高复杂推理的有前景的方向。我们在 Github 上发布了 QUITE 以及用于训练和实验的代码。
引用
@article{arxiv.2410.10449,
title = {QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios},
author = {Timo Pierre Schrader and Lukas Lange and Simon Razniewski and Annemarie Friedrich},
journal= {arXiv preprint arXiv:2410.10449},
year = {2024}
}
备注
accepted at EMNLP 2024 (main)