ARC 大赛 2024：技术报告
人工智能
2025-01-09 v2
摘要
截至 2024 年 12 月，ARC-AGI 基准测试已有五年历史，仍未被超越。我们认为它目前是世界上最重要的未解决 AI 基准测试，因为它旨在衡量在新任务上的泛化能力——智能的本质——而非对可提前准备的任务的熟练程度。今年，我们推出了 ARC 大赛，这是一项全球竞赛，旨在通过达到 85% 的目标基准分数来激发新思路并推动通向通用人工智能（AGI）的开放进展。结果，ARC-AGI 私有评估集上的最先进分数从 33% 提升至 55.5%，由多项前沿 AGI 推理技术推动，包括深度学习引导的程序合成和测试时训练。在本文中，我们综述了顶尖方法，审查了新的开源实现，讨论了 ARC-AGI-1 数据集的局限性，并分享了从竞赛中获得的关键见解。
引用
@article{arxiv.2412.04604,
title = {ARC Prize 2024: Technical Report},
author = {Francois Chollet and Mike Knoop and Gregory Kamradt and Bryan Landers},
journal= {arXiv preprint arXiv:2412.04604},
year = {2025}
}