面向结构化知识推理：基于经验的对比检索增强生成
计算与语言
2025-07-28 v2 人工智能
摘要
大型语言模型(LLM)在纯文本任务上取得了强劲的性能，但在表格和数据库等结构化数据上表现不佳。潜在的挑战源于其在预训练阶段的接触不足以及僵化的文本到结构转换机制。人类能够跨数据模态无缝应用所学模式，而 LLM 难以推断嵌入表格格式中的隐式关系，尤其是在缺乏明确结构指导的情况下。为了弥合这一认知差距，我们引入了基于经验的对比检索增强生成(Contrastive Retrieval-Augmented Generation on Experience, CoRE)框架，该框架构建经验记忆表示，并通过对比上下文学习(In-Context Learning, ICL)增强泛化能力，以模拟类人的知识迁移。在 Text-to-SQL 和 TableQA 上的实验表明，CoRE 显著提升了性能，平均增益分别为 3.44% 和 4.24%，在具有挑战性的任务上高达 17.2%。我们的蒙特卡洛树搜索(MCTS)生成的经验记忆将训练数据扩展了 8-9 倍，增强了多样性和领域覆盖范围。这种免训练且持续的方法推动 LLM 迈向结构化知识专长。
引用
@article{arxiv.2506.00842,
title = {Toward Structured Knowledge Reasoning: Contrastive Retrieval-Augmented Generation on Experience},
author = {Jiawei Gu and Ziting Xian and Yuanzhen Xie and Ye Liu and Enjie Liu and Ruichao Zhong and Mochi Gao and Yunzhi Tan and Bo Hu and Zang Li},
journal= {arXiv preprint arXiv:2506.00842},
year = {2025}
}
备注
ACL 2025 Findings