Auto-Patching：增强语言模型的多跳推理
计算与语言
2025-06-03 v1 机器学习
摘要
多跳问题仍然困扰着大型语言模型（LLM），它们难以在多个推理步骤间链接信息。我们提出了 Auto-Patch，一种在推理过程中动态修补隐藏状态以增强 LLM 多跳推理的新方法。基于 PatchScopes 框架，Auto-Patch 使用学习到的分类器选择性地修改内部表示。在 MuSiQue 数据集上的评估表明，Auto-Patch 将解题率从 18.45%（基线）提升至 23.63~~0.7%（3 次运行），缩小了与思维链提示（27.44%）的差距。我们的结果突出了动态隐藏状态干预在推进 LLM 复杂推理方面的潜力。
引用
@article{arxiv.2506.00483,
title = {Auto-Patching: Enhancing Multi-Hop Reasoning in Language Models},
author = {Aviv Jan and Dean Tahory and Omer Talmi and Omar Abo Mokh},
journal= {arXiv preprint arXiv:2506.00483},
year = {2025}
}
备注
8 pages, 5 figures