用于 ERM 程序的 LLM 先验
机器学习
2026-02-12 v2
摘要
我们研究在样本和计算都高效的程序学习方法。经典学习理论表明，当目标 admits 简短的程序描述时（例如，简短的 Python 代码），可通过对程序类执行 ERM 从相对较少的样本中学习。然而，这一方法依赖于枚举候选程序，通常在描述长度上呈指数级增长。相比之下，梯度化训练避免了显式搜索，但对某些短程序族可能需要指数级样本才能成功。我们提出了 \textsc{LLM-PV}，一种使 ERM 风格的选择可在离散程序类上实现而无需穷举枚举的方案。预训练的 LLM 引导候选程序的提议分布；每个提议被执行，在 held-out 验证集上评分，并选择最佳程序。该方法不使用梯度更新，也不使用验证反馈来调整抽样分布。跨包括奇偶校验变体、模式匹配和素数测试在内的算法任务，\textsc{LLM-PV} 通常能从小标记集中恢复确切的底层规则，并在训练序列长度之外实现广泛泛化。在相同条件下，SGD 训练的变压器和标准适应基线（微调和 in-context learning），以及经典 ML 基线，可能拟合训练数据但难以可靠地泛化。这些结果表明，预训练的 LLM 先验可作为 ERM 的有效搜索偏置，缩小统计效率与计算效率之间的差距。代码地址为 [\href{https://github.com/DLFundamentals/LLM_PV}{code}]。
引用
@article{arxiv.2510.14331,
title = {LLM Priors for ERM over Programs},
author = {Shivam Singhal and Priyadarsi Mishra and Eran Malach and Tomer Galanti},
journal= {arXiv preprint arXiv:2510.14331},
year = {2026}
}