逐步修订：面向大语言模型代码生成的统一局部搜索框架
计算与语言
2025-08-12 v1
摘要
具有推理时扩展技术的大语言模型（LLMs）在代码生成方面展现出潜力，但面临显著的效率和可扩展性挑战。基于构造的树搜索方法存在树规模快速增长、令牌消耗高以及缺乏随时性等问题。相比之下，基于改进的方法性能更优，但常常受困于无信息量的奖励信号和低效的搜索策略。在这项工作中，我们提出了 \textbf{ReLoc}，一个能有效执行逐步代码修订的统一局部搜索框架。具体来说，ReLoc 通过四个关键算法组件探索一系列局部修订：初始代码起草、邻域代码生成、候选评估和当前代码更新，每个组件都可以通过特定的决策规则实例化，以实现不同的局部搜索算法，如爬山法（HC）或遗传算法（GA）。此外，我们开发了一个专门的修订奖励模型，该模型基于修订距离评估代码质量，以产生细粒度的偏好，引导局部搜索朝向更有希望的候选。最后，我们广泛的实验结果表明，我们的方法在多种代码生成任务中均取得了优越的性能，显著优于基于构造的树搜索以及当前最先进的基于改进的代码生成方法。
引用
@article{arxiv.2508.07434,
title = {Let's Revise Step-by-Step: A Unified Local Search Framework for Code Generation with LLMs},
author = {Zhiyi Lyu and Jianguo Huang and Yanchen Deng and Steven Hoi and Bo An},
journal= {arXiv preprint arXiv:2508.07434},
year = {2025}
}