基于双向证据自对齐的双门控推理增强
计算与语言
2025-05-23 v1 信息检索
摘要
大语言模型 (LLMs) 在知识密集型多步骤推理 (KIMSR) 任务中面临困难。一个挑战是如何有效提取和表示 rationale 证据。当前方法常提取语义上相关但逻辑上无关的证据，导致推理错误和不准确的响应。我们提出了双向证据自对齐 (TW-ESA) 模块，利用严格推理与 LLM 推理之间的相互对齐来增强其对证据因果逻辑的理解，从而解决上述第一个挑战。另一个挑战是如何在证据包含不确定性时，有效利用 rationale 证据和 LLM 的内在知识进行准确推理。我们提出了双门控推理增强 (DGR) 模块，通过逐步融合 LLM 的有用知识于严格推理中，以便在关注证据中的因果元素方面实现准确推理，并表现出更大的鲁棒性。两个模块在统一框架 ESA-DGR 中进行协合训练。大量实验表明，ESA-DGR 在三个多样且具有挑战性的 KIMSR 数据集上显著优于基于 LLM 的最先进微调方法，平均在 exact match (EM) 和 F1 分数上分别提升了 4% 和 5%。实现代码已提供，链接为 https://anonymous.4open.science/r/ESA-DGR-2BF8。
引用
@article{arxiv.2505.16806,
title = {Two-way Evidence self-Alignment based Dual-Gated Reasoning Enhancement},
author = {Kexin Zhang and Junlan Chen and Daifeng Li and Yuxuan Zhang and Yangyang Feng and Bowen Deng and Weixu Chen},
journal= {arXiv preprint arXiv:2505.16806},
year = {2025}
}