强化学习提升大语言模型中层次化知识遍历能力
计算与语言
2025-11-11 v1 人工智能
摘要
强化学习（RL）常被归因于提升语言模型的推理与泛化能力，却以牺牲记忆化知识为代价。我们挑战这一叙事，通过观察发现，RL 增强模型在纯粹的知识回忆任务（尤其是需要遍历层次化结构知识的任务，如医学编码）上始终优于其基础模型和监督微调（SFT）模型。我们假设，这些收益并非源于新获取的数据，而是源于模型在遍历现有参数内层次化知识结构方面的程序技能提升。为支持这一假设，我们展示，结构化提示（structured prompting）通过显式引导 SFT 模型进行层次遍历，几乎恢复了性能差距（将 DeepSeek-V3/R1 在 MedConceptsQA 上的差距从 24pp降低至 7pp）。进一步发现，尽管提示措施改善了最终答案的准确率，但 RL 增强模型在深层检索任务中保留了更优的正确程序路径回忆能力。最后，我们的层级内部激活分析揭示，尽管事实表征（例如“编码 57.95 指指尿路感染”）在 SFT 与 RL 模型间保持高度余弦相似性，但查询表征（例如“编码 57.95 是什么”）之间呈现显著差异，表明 RL 主要改变了模型遍历知识的方式，而非知识表示本身。
引用
@article{arxiv.2511.05933,
title = {Reinforcement Learning Improves Traversal of Hierarchical Knowledge in LLMs},
author = {Renfei Zhang and Manasa Kaniselvan and Niloofar Mireshghallah},
journal= {arXiv preprint arXiv:2511.05933},
year = {2025}
}
备注
`