CosmicFish-HRM：基于分层循环机制的紧凑型语言模型自适应推理
机器学习
2026-05-29 v1 人工智能
计算与语言
摘要
大型语言模型已取得强大的推理能力，但往往以巨大的参数量和高昂的推理成本为代价。本文探索了另一条道路：在紧凑语言模型中实现自适应推理深度。我们提出 CosmicFish-HRM，一种围绕分层推理模块（HRM）构建的紧凑语言模型，能够在推理过程中动态分配计算资源。该模型不是对每个输入都施加固定计算，而是迭代经过高层次和低层次推理循环，并学习根据输入复杂度决定何时中止。CosmicFish-HRM 将这种自适应推理核心与现代 Transformer 组件相结合，包括分组查询注意力（Grouped Query Attention）、RoPE 和 SwiGLU 激活函数。尽管额外的推理基础设施在小规模模型下引入开销，但我们假设随着模型规模增长，这种权衡将变得越来越有利。我们的结果表明，该模型学习到非均匀的推理行为，跨越不同任务和输入分配不同的推理步骤数。这些发现表明，自适应推理深度可能为依赖参数规模获得推理能力提供了有前景的替代方案。
引用
@article{arxiv.2605.28919,
title = {CosmicFish-HRM: Adaptive Reasoning via Hierarchical Recurrent Mechanisms in Compact Language Models},
author = {Venkat Akhil Lakkapragada},
journal= {arXiv preprint arXiv:2605.28919},
year = {2026}
}
备注
17 pages, 4 figures. Exploratory study of adaptive reasoning depth in compact autoregressive language models. Code available at https://github.com/MistyozAI/CosmicFish-HRM