ATLAS：用于增强 LLM 推理的自适应测试时潜在引导

最近的工作表明，修改内部表示（如激活和潜在引导）可以有效地引导大型语言模型 (LLM) 以提高推理能力和效率，而无需额外训练。然而，大多数现有方法依赖固定的引导策略和静态干预强度，这限制了其在问题实例中的鲁棒性，常常导致过度或不足引导。我们提出自适应测试时潜在引导方法，称为 (ATLAS)，这是一种任务特定的框架，可使用外部轻量级潜在验证器在推理时动态控制引导决策。给定中间隐藏状态，验证器预测正在进行的推理质量，并自适应地选择是否以及如何应用引导，实现按示例和按步骤调整，开销最小。到我们知识为止，ATLAS 是首次将学习型潜在验证集成到测试时引导中，用于增强 LLM 推理。实验在多个数学推理基准测试上表明，ATLAS 持续地优于 vanilla 解码和固定引导基线，准确率提高，同时大幅减少测试时 token 使用。这些结果表明，验证器引导的潜在适应提供了一种有效且可扩展的机制，用于在不牺牲解题质量的前提下控制推理效率。所有源代码将公开可用。