LLM 是经典推理者还是非经典推理者？从泛指概念谈起
计算与语言
2024-06-13 v2 人工智能
摘要
近期关于 LLM 推理的研究提供了令人印象深刻的性能和灵活适应机器生成或人类反馈的证据。非经典推理对于人类认知以导航现实世界至关重要，但仍然是一个具有挑战性且尚未充分研究的任务。本文研究了七种最先进 LLM 在包含泛指概念（如“鸟类会飞”）及其例外情况（如“企鹅不会飞”）的抽象任务和常识推理任务中的非经典推理能力。虽然 LLM 在符合人类非经典推理能力的推理模式方面表现出推理行为，但在添加支持性示例（“猫头鹰会飞”）或无关信息（“狮子有鬃毛”）时，无法维持对泛指概念真理条件的稳定信念。我们的发现凸显了将人类推理行为归因于 LLM 以及评估通用能力时存在的陷阱，同时持续的推理仍然令人失望。
引用
@article{arxiv.2406.06590,
title = {Are LLMs classical or nonmonotonic reasoners? Lessons from generics},
author = {Alina Leidinger and Robert van Rooij and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2406.06590},
year = {2024}
}
备注
Accepted at ACL 2024 (main)