语用推理解锁基础模型的量词语义
人工智能
2023-11-09 v1
摘要
广义量词（例如，few、most）用于指示谓词被满足的比例（例如，一些苹果是红色的）。解释量词语义的一种方法是将这些满足情况与百分比范围显式绑定（例如，30%-40% 的苹果是红色的）。这种方法对于逻辑形式化和表层定量推理等任务很有帮助（Gordon and Schubert, 2010; Roy et al., 2015）。然而，目前尚不清楚最近的基础模型是否具备这种能力，因为它们缺乏直接的训练信号。为了探索这一点，我们引入了 QuRe，这是一个包含 Wikipedia 句子中带有百分比谓词的人工标注广义量词的众包数据集。我们使用 PRESQUE 框架探索语言模型中的量词理解，该框架结合了自然语言推理和理性言语行为框架。在 HVD 数据集和 QuRe 上的实验结果表明，采用语用推理的 PRESQUE 在预测量词百分比范围时，比字面推理基线的性能高出 20%，且无需额外训练。
引用
@article{arxiv.2311.04659,
title = {Pragmatic Reasoning Unlocks Quantifier Semantics for Foundation Models},
author = {Yiyuan Li and Rakesh R. Menon and Sayan Ghosh and Shashank Srivastava},
journal= {arXiv preprint arXiv:2311.04659},
year = {2023}
}
备注
EMNLP 2023