大语言模型的显式归纳推理
计算与语言
2024-08-27 v1
摘要
大语言模型（LLMs）在推理任务上报告存在不理想的归属偏差：当被问及前提P是否包含假设H时，LLMs倾向于使用H的超出上下文的真实标签作为脆弱的代理，而非考虑H在P条件下是否必然为真。本文提出了一个管道利用这一偏差进行显式归纳推理。我们的管道使用LLM将前提转换为一组已归属的备选方案，然后聚合来自派生新归属询问的答案，以支持原始推理预测。在一个方向性谓词归属基准上，我们展示，通过应用这一简单管道，我们可以提高LLMs在推理和显著减轻其归属偏差影响上的整体性能。
引用
@article{arxiv.2408.14467,
title = {Explicit Inductive Inference using Large Language Models},
author = {Tianyang Liu and Tianyi Li and Liang Cheng and Mark Steedman},
journal= {arXiv preprint arXiv:2408.14467},
year = {2024}
}