对比概念树搜索用于LLM辅助算法发现
机器学习
2026-02-04 v1 人工智能
神经与进化计算
摘要
大型语言模型（LLM）辅助算法发现是一项针对程序进行的迭代、黑箱优化过程，用以近似求解目标任务，其中LLM提出候选程序，外部评估器提供任务反馈。尽管近期该领域取得了显著的研究成果并呈现出良好的效果，但如何充分利用LLM对可能程序空间的内在表示以提升性能仍是一个开放问题。本文引入对比概念树搜索（Contrastive Concept-Tree Search, CCTS），从生成的程序中提取层次化概念表示，并学习一种对比概念模型以引导父节点选择。通过对比高性能解与低性能解之间的似然比得分来对父节点进行重新加权，CCTS倾向于选择有用概念的组合，而非误导性的组合，从而通过显式的概念层次结构而非LLM构建的算法血统，提供搜索指引。我们表明，CCTS在一组开放的 Erd\H{o}s 类组合问题基准测试中，优于基于适应度的基线方法，同时产生可解释且特定于任务的概念树。我们的分析表明，性能提升主要来自学习哪些概念应当被避免。我们进一步在受控的人工算法发现环境中验证了这些发现，该环境再现了LLM观察到的搜索动力学。
引用
@article{arxiv.2602.03132,
title = {Contrastive Concept-Tree Search for LLM-Assisted Algorithm Discovery},
author = {Timothee Leleu and Sudeera Gunathilaka and Federico Ghimenti and Surya Ganguli},
journal= {arXiv preprint arXiv:2602.03132},
year = {2026}
}