检索约束解码揭示语言模型中被低估的参数化知识
计算与语言
2025-09-30 v1 人工智能
摘要
语言模型编码了大量事实知识，但常常产生被判定为错误的答案。我们假设这些答案中有许多实际上是正确的，但以替代的表面形式表达，由于过于严格的评估而被驳回，从而导致对模型参数化知识的低估。我们提出了检索约束解码（RCD），一种将模型输出限制为唯一表面形式的解码策略。我们引入了YAGO-QA，一个包含19,137个通用知识问题的数据集。评估从135M到70B参数的开源语言模型，我们表明标准解码低估了它们的知识。例如，Llama-3.1-70B在普通解码下仅获得32.3%的F1分数，而使用RCD则达到46.0%。同样，Llama-3.1-8B在RCD下达到33.0%，超越了普通解码下更大的模型。我们公开发布代码和数据集于https://github.com/Rajjaa/disambiguated-LLM。
引用
@article{arxiv.2509.23417,
title = {Retrieval-Constrained Decoding Reveals Underestimated Parametric Knowledge in Language Models},
author = {Rajaa El Hamdani and Samy Haffoudhi and Nils Holzenberger and Fabian Suchanek and Thomas Bonald and Fragkiskos D. Malliaros},
journal= {arXiv preprint arXiv:2509.23417},
year = {2025}
}