语言模型是薄弱的定向推理学习者
计算与语言
2022-10-17 v2
摘要
我们通过带提示的监督微调考察语言模型（LM）在定向谓词蕴含上的能力。我们的分析表明，与它们在标准自然语言推理（NLI）上表面的成功相反，LM学习此类定向推理的能力有限；此外，现有数据集未能测试方向性，和/或充斥着可作为蕴含代理学习的伪迹，从而产生过于乐观的结果。为此，我们提出BoOQA（布尔开放问答），一个独立于现有训练集的、用于定向谓词蕴含的鲁棒多语言评测基准。在BoOQA上，我们建立了基线，并展示证据表明现有的LM提示模型是不胜任的定向蕴含学习者，相比之下蕴含图虽受稀疏性限制却表现不同。
引用
@article{arxiv.2210.04695,
title = {Language Models Are Poor Learners of Directional Inference},
author = {Tianyi Li and Mohammad Javad Hosseini and Sabine Weber and Mark Steedman},
journal= {arXiv preprint arXiv:2210.04695},
year = {2022}
}
备注
Findings of EMNLP 2022