概率微型递归模型
人工智能
2026-05-20 v1
摘要
微型递归模型（TRM）通过迭代优化潜在状态和最终答案，以现代大型语言模型（LLMs）参数量的极小部分解决复杂的推理任务。尽管功能强大，但其确定性递归可能导致收敛到次优解，且没有逃逸机制。一种常见的变通方法是在测试时依赖特定任务的输入扰动，并结合投票进行答案聚合。我们引入了概率微型递归模型（PTRM），这是一种与任务无关的测试时计算扩展框架，通过随机探索来解决这一局限性。PTRM 在每个深度递归步骤注入高斯噪声，使并行轨迹能够探索不同的解盆地，并利用模型现有的 Q 头（在原版 TRM 中用于早停）从中进行选择。无需重新训练或特定任务的增强，PTRM 就能在多个基准测试中实现显著的准确率提升，包括数独极限（从 87.4% 提升至 98.75%）以及铅笔谜题基准中的各种谜题（从 62.6% 提升至 91.2%）。在后一个基准上，PTRM 仅使用 7M 参数，就以不到 0.0001 倍的成本实现了近乎两倍于前沿 LLMs 的准确率（91.2% 对比 55.1%）。
引用
@article{arxiv.2605.19943,
title = {Probabilistic Tiny Recursive Model},
author = {Amin Sghaier and Ali Parviz and Alexia Jolicoeur-Martineau},
journal= {arXiv preprint arXiv:2605.19943},
year = {2026}
}