通用推理模型
人工智能
2025-12-29 v3
摘要
通用变换器（UT）已广泛用于复杂推理任务，如 ARC-AGI 和数独，但其性能提升的具体来源仍未得到充分探索。本文系统性地分析了 UT 变体，表明在 ARC-AGI 上的改进主要来自变换器的循环归纳偏置和强非线性组件，而非来自精细的架构设计。鼓励这一发现，我们提出了通用推理模型（URM），通过引入短卷积和截断反向传播来增强 UT。我们的方法显著提升了推理性能，在 ARC-AGI 1 上实现了 53.8% 的 pass@1，在 ARC-AGI 2 上实现了 16.0% 的 pass@1。我们的代码可在 https://github.com/UbiquantAI/URM 获取。
引用
@article{arxiv.2512.14693,
title = {Universal Reasoning Model},
author = {Zitian Gao and Lynx Chen and Yihao Xiao and He Xing and Ran Tao and Haoming Luo and Joey Zhou and Bryan Dai},
journal= {arXiv preprint arXiv:2512.14693},
year = {2025}
}