扰动证据下的演绎：探析大语言模型的学生模拟能力
计算与语言
2023-05-25 v1
摘要
我们探究大语言模型（LLMs）是否具备基于被扭曲事实进行逻辑推理的能力，我们称之为扰动证据下的演绎（DUPE）。DUPE 对 LLMs 提出了独特挑战，因为它们通常依赖编码了大多准确信息的参数来进行推理与推断。然而在 DUPE 中，LLMs 必须基于提示中存在的被操纵或伪造的证据进行推理，这可能导致仅在被操纵证据下才成立的错误结论。我们借助 DUPE 的目标是确定 LLMs 能否得出这些错误结论，并识别影响演绎过程的主导因素究竟是参数中编码的数据还是提示中被操纵的证据。为评估 LLMs 的 DUPE 能力，我们创建了 StrategyQA 数据集的 DUPEd 版本，其中事实被操纵以反转问题的答案。我们的结果表明，即便最先进的 GPT 模型也难以在操纵事实上推理——展现出较差的 DUPE 技能——其准确率相较原始数据集下降了 45%。我们还研究了受学生模拟模型启发的提示设置，其在一定程度上缓解了准确率下降。我们的发现对于理解 LLMs 在涉及基于不准确信息推理的真实应用（如学生模拟模型）中的表现具有实际意义。
引用
@article{arxiv.2305.14507,
title = {Deduction under Perturbed Evidence: Probing Student Simulation Capabilities of Large Language Models},
author = {Shashank Sonkar and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2305.14507},
year = {2023}
}