代码演化的简单基线与代码演化竞争
人工智能
2026-02-20 v1 机器学习
摘要
代码演化是一系列依赖于大型语言模型通过演化或变异现有代码来搜索可能计算机程序的技术。许多提出的代码演化管道显示出惊人的性能，但常常未与更简单的基线进行比较。我们测试了两种简单基线在三个领域：寻找更好的数学界限、设计智能体框架和机器学习竞赛中的表现。我们发现，简单基线在所有三个领域中都匹配或超过了更复杂的方法。通过分析这些结果，我们发现代码演化在开发和使用方面存在各种不足。在数学界限方面，问题的搜索空间和提示中的领域知识是决定搜索性能上限和效率的主要因素，而代码演化管道是次要的。因此，寻找改进界限的主要挑战是设计良好的搜索空间，这由领域专家完成，而非搜索本身。在设计智能体框架时，我们发现由于框架之间的高方差以及数据集较小，导致选出次优框架，结果是手工设计的多数投票框架表现最佳。我们提出了能够在保持代码演化经济可行性的同时减少评估随机性的更好评估方法。我们结束时对未来工作中使代码演化更加严谨的途径和最佳实践进行了讨论。
引用
@article{arxiv.2602.16805,
title = {Simple Baselines are Competitive with Code Evolution},
author = {Yonatan Gideoni and Sebastian Risi and Yarin Gal},
journal= {arXiv preprint arXiv:2602.16805},
year = {2026}
}