使用蕴含图中和 LLM 推理中的偏差
计算与语言
2025-03-17 v1
摘要
LLM 常被声称具备自然语言推理（NLI）能力，这被广泛认为是更复杂推理形式的基石。然而，最近的研究表明，由于证实偏差，即 LLM 过度依赖命题记忆来构建捷径，LLM 在 NLI 中仍然存在幻觉问题。为了解决这一问题，我们设计了一个无监督框架来构建反事实推理数据，并对 LLM 进行微调以减少证实偏差。为了衡量偏差的减少，我们构建了 NLI 数据集的偏差对抗变体，在前提中随机替换谓词，同时保持假设不变。广泛的评估表明，我们的框架可以显著减少由证实偏差引起的幻觉。然后，我们进一步在原始 NLI 数据集及其偏差中和版本（其中原始实体被随机采样的实体替换）上，评估了使用我们框架微调的 LLM。大量结果表明，我们的框架在原始和偏差中和的 NLI 数据集上均能持续提升推理性能。
引用
@article{arxiv.2503.11614,
title = {Neutralizing Bias in LLM Reasoning using Entailment Graphs},
author = {Liang Cheng and Tianyi Li and Zhaowei Wang and Tianyang Liu and Mark Steedman},
journal= {arXiv preprint arXiv:2503.11614},
year = {2025}
}
备注
17 pages, 7 figures