为 ARC 挑战捕捉抽象的火花
计算与语言
2024-11-19 v1 人工智能
机器学习
摘要
近期在解决 ARC 挑战问题方面取得了显著进展。然而，似乎需要新的技术才能将准确率提升至 60% 以上。即使是商用大型语言模型（LLMs）也难以“理解”许多问题（当给定输入和输出网格时），这使得通过 LLM 主导的程序搜索来发现解决方案在一定程度上徒劳无功。在这项工作中，我们从一个更强的起点尝试 LLM 的“理解”：向 LLM 提供任务的完整代码解决方案，然后要求其解释任务是如何在不同抽象层次上被解决的。具体来说，LLM 获得了用 arc-dsl-llm（Hodel 的 arc-dsl 的一个 LLM 可读版本）实现的代码解决方案，以获取：(a) 带注释的代码；(b) 重构为可复用功能块的代码；(c) 问题解决步骤；以及 (d) 高层次的问题解决策略。我们证明，“抽象的火花”可以从 LLM 的输出中提取出来——其形式可用于下游任务，并由有资格参加 ARC Prize 的本地 LLM 使用。arc-dsl-llm 领域特定语言框架（包含重新设计的解决方案）和 Gemini LLM 生成的数据（以及生成代码）均已开源。
引用
@article{arxiv.2411.11206,
title = {Capturing Sparks of Abstraction for the ARC Challenge},
author = {Martin Andrews},
journal= {arXiv preprint arXiv:2411.11206},
year = {2024}
}
备注
Submitted as a paper entry for the 2024 ARC Prize