ACES：利用自导向生成模型生成多样化编程谜题
机器学习
2026-01-30 v4 人工智能
摘要
发明新颖且有趣的问题的能力是人类智能推动创新、艺术和科学的显著特征。我们提出了一种方法，旨在通过将最先进的生成模型的能力用于产生多样化且具有挑战性但可解的问题来自动化这一过程，此处以Python编程谜题为背景。受内在动机文献启发，自导向代码搜索（ACES）联合优化所生成问题的多样性和难度。我们将问题表示在由LLM生成的语义描述符空间中，这些描述符描述了解决问题所需的编程技能（例如字符串操作、动态规划等），并根据最先进LLM问题求解器Llama-3-70B的成功率线性递减函数经验性地度量其难度。ACES迭代地提示大语言模型生成困难问题，通过使用先前生成的问题作为上下文示例，实现目标语义描述符的多样性（目标导向探索）。ACES生成的问题比基线方法和现有Python编程基准中的问题更具多样性和挑战性，在11个最先进代码LLM上平均比现有基准问题难三倍。
引用
@article{arxiv.2310.10692,
title = {ACES: Generating Diverse Programming Puzzles with with Autotelic Generative Models},
author = {Julien Pourcel and Cédric Colas and Gaia Molinaro and Pierre-Yves Oudeyer and Laetitia Teodorescu},
journal= {arXiv preprint arXiv:2310.10692},
year = {2026}
}