微型递归模型的测试时适应
机器学习
2025-11-06 v1 人工智能
摘要
在 2025 年 ARC 奖赛关闭之前，领先的开源方法——称为 TRM（Tiny Recursive Models）——通过在增强变体的 ARC 任务上训练一个 700 万参数的递归神经网络来实现，其方法在公开的 ARC AGI II 评估集上获得约 7.8% 的得分，但所需的计算资源远超赛事允许的范围。本文表明，通过从在公开 ARC 任务上预训练的微型递归模型开始，可以在允许的计算限制内高效微调以竞赛任务。具体而言，一个在 1280 个公开任务上进行预训练，经过 70 万多步优化器步骤，持续 48 小时运行在 4 块 H100 SXM GPU 上，获得约 10% 的公开评估集得分。该模型随后在赛事期间仅进行 12500 步梯度步骤即可在半私有评估任务上达到 6.67% 的得分。值得注意的是，这一后训练性能是通过对微型模型进行完整微调实现的，而非 LoRA 微调或仅对任务嵌入进行微调。
引用
@article{arxiv.2511.02886,
title = {Test-time Adaptation of Tiny Recursive Models},
author = {Ronan Killian McGovern},
journal= {arXiv preprint arXiv:2511.02886},
year = {2025}
}