基于检索增强搜索的 LLM 程序优化
机器学习
2025-02-03 v1
摘要
随着大语言模型（LLM）的出现，人们对将其应用于解决困难编程任务方面产生了浓厚兴趣。最近的研究表明了其在程序优化方面的潜力，这是编程语言研究中的关键挑战。我们提出一种称为检索增强搜索（RAS）的黑箱适应方法，通过对候选优化进行束搜索；在每一步中，它从给定的慢-快速程序对训练数据集中检索情境示例以指导 LLM。关键的是，我们发现基于 LLM 生成的自然语言描述进行的情境检索显著优于基于源代码的检索。此外，我们提出了一种称为 AEGIS 的方法，通过将训练示例分解为“原子编辑”来提高可解释性，这些编辑在本质上要小得多。我们表明 RAS 在先前的SOTA黑箱适应策略中性能提升1.8倍，AEGIS 在进行显著更小编辑的情况下提升1.37倍。
引用
@article{arxiv.2501.18916,
title = {LLM Program Optimization via Retrieval Augmented Search},
author = {Sagnik Anupam and Alexander Shypula and Osbert Bastani},
journal= {arXiv preprint arXiv:2501.18916},
year = {2025}
}