ConceptSearch：面向抽象与推理语料库（ARC）的高效程序搜索
机器学习
2024-12-12 v2
摘要
抽象与推理语料库（ARC）对人工智能构成了重大挑战，要求具备广泛的泛化能力和少样本学习能力，而这些能力对包括大语言模型（LLM）在内的当前深度学习方法而言仍然难以实现。尽管 LLM 在程序合成方面表现出色，但将其直接应用于 ARC 的效果有限。为解决这一问题，我们提出了 ConceptSearch，一种新颖的函数搜索算法，利用 LLM 进行程序生成，并采用基于概念的评分方法来高效引导搜索。与汉明距离等简单的基于像素的度量不同，ConceptSearch 根据程序捕捉输入-输出示例中反映的底层变换概念的能力来评估程序。我们探索了三种评分函数：汉明距离、基于 CNN 的评分函数和基于 LLM 的自然语言评分函数。实验结果证明了 ConceptSearch 的有效性，相比直接使用 GPT-4 提示取得了显著的性能提升。此外，我们新颖的基于概念的评分方法在达到正确解所需的迭代次数方面，相比汉明距离效率提升了高达 30%。这些发现凸显了将 LLM 驱动的程序搜索与基于概念的引导相结合，在应对 ARC 这类具有挑战性的泛化问题方面的潜力。
引用
@article{arxiv.2412.07322,
title = {ConceptSearch: Towards Efficient Program Search Using LLMs for Abstraction and Reasoning Corpus (ARC)},
author = {Kartik Singhal and Gautam Shroff},
journal= {arXiv preprint arXiv:2412.07322},
year = {2024}
}
备注
Pre-print of paper accepted at AAAI 2025