探测神经语言模型对估计概率词的理解
计算与语言
2023-06-27 v2 人工智能
摘要
估计概率词(WEP)是对陈述可信度的表达（probably、maybe、likely、doubt、likely、unlikely、impossible……）。多项调查表明，人类评估者在为 WEP 赋予数值概率水平时具有一致性。例如，在 Fagen-Ulmschneider (2015) 的调查中，highly likely 对应于 0.90±0.08 的中位概率。在本工作中，我们度量神经语言处理模型捕捉与每个 WEP 相关的共识概率水平的能力。首先，我们使用 UNLI 数据集（Chen et al., 2020），该数据集将前提与假设及其感知联合概率 p 相关联，来构造提示，例如“[前提]。[WEP]，[假设]。”，并评估语言模型能否预测 WEP 的共识概率水平是否接近 p。其次，我们构造一个基于 WEP 的概率推理数据集，以测试语言模型能否用 WEP 组合进行推理。当提示“[事件A] 是 likely。[事件B] 是 impossible.”时，因果语言模型不应表达 [事件A&B] 是 likely。我们表明，现成的英语语言模型都未能解决这两项任务，但微调可带来可迁移的改进。
引用
@article{arxiv.2211.03358,
title = {Probing neural language models for understanding of words of estimative probability},
author = {Damien Sileo and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2211.03358},
year = {2023}
}
备注
Accepted at *SEM2023