无需预训练的ARC-AGI
机器学习
2025-12-09 v1
摘要
在LLM时代的主流观点认为，解决ARC-AGI-1基准测试中的类似IQ测试的视觉谜题需要来自大规模预训练的能力。为了反驳这一观点，我们提出了CompressARC，一个没有任何预训练的76K参数模型，仅通过在推理时最小化目标谜题的描述长度（MDL）解决了20%的评估谜题。MDL赋予CompressARC在深度学习中闻所未闻的极端泛化能力。据我们所知，CompressARC是唯一一个训练仅发生在单个样本上的ARC-AGI深度学习方法：即目标推理谜题本身，且最终解信息被移除。此外，CompressARC不在预先提供的ARC-AGI"训练集"上进行训练。在这些极其数据受限的条件下，我们通常不期望任何谜题是可解的。然而CompressARC仍然解决了一组多样化的创造性ARC-AGI谜题，这表明MDL是除传统预训练之外产生智能的一种替代可行途径。
引用
@article{arxiv.2512.06104,
title = {ARC-AGI Without Pretraining},
author = {Isaac Liao and Albert Gu},
journal= {arXiv preprint arXiv:2512.06104},
year = {2025}
}