分层推理模型
人工智能
2025-08-05 v3 机器学习
摘要
推理是制定和执行复杂目标导向动作序列的过程，这仍是人工智能中的关键挑战。当前的大型语言模型 (LLM) 主要采用链式思维 (CoT) 技术，但这些技术存在任务分解脆弱、数据需求大以及高延迟等问题。灵感来源于人脑中分层和多时间尺度处理，我们提出了分层推理模型 (HRM)，这是一种新型递归架构，能够在保持训练稳定性和效率的同时实现显著的计算深度。HRM 通过两个相互依赖的递归模块在无需对中间过程进行显式监督的情况下，执行顺序推理任务：一个高层模块负责慢速、抽象的规划，另一个低层模块处理快速、细节的计算。仅需2700万参数，HRM仅通过1000个训练样本即可在复杂推理任务上实现卓越的性能。该模型无需预训练或 CoT 数据，却能在包括复杂数独谜题和大型迷宫中最优路径寻找等具有挑战性的任务上几乎完美地运行。此外，HRM 在仅使用显著更长的上下文窗口的情况下，超过了 much larger models，在抽象与推理语料库 (ARC) 上表现突出，该基准是衡量人工通用智能能力的关键基准。这些结果凸显了 HRM 作为通用计算和通用推理系统潜在变革性进展的前景。
引用
@article{arxiv.2506.21734,
title = {Hierarchical Reasoning Model},
author = {Guan Wang and Jin Li and Yuhao Sun and Xing Chen and Changling Liu and Yue Wu and Meng Lu and Sen Song and Yasin Abbasi Yadkori},
journal= {arXiv preprint arXiv:2506.21734},
year = {2025}
}