从模糊到精确：基于有理算术实现无限深度推理的 Halo 架构
机器学习
2026-02-17 v4 人工智能
硬件体系结构
摘要
大型语言模型（LLM）的主导缩放范式建立在“模糊”浮点算术的基础之上。为了减轻这种近似基础固有的不稳定性，现代架构搭建了由结构和数值启发式方法组成的复杂支架——复杂残差、Pre-RMSNorm、注意力缩放和梯度裁剪——仅为了防止数值崩溃就消耗了大量计算资源。我们提出向“精确”的范式转变。我们引入了 Halo 架构，该架构基于有理数域（Q）并由定制的精确推理单元（EIU）驱动。为了解决有理算术指数级的位宽增长问题，Halo 采用了双环拓扑结构，统一了两种互补的控制机制：（1）微环（连续性维护），通过丢番图逼近严格限制内存复杂度；以及（2）宏环（符号对齐），通过周期性状态坍缩来强制执行逻辑一致性。这种稳定的双环基础允许对数值支架进行“大拆除”，将 Transformer 块简化为其“干净”的代数形式（Tabula Rasa）。此外，我们验证了“效率悖论”：梯度噪声的消除（sigma -> 0）允许使用宏学习率，有可能将总收敛时间减少数个数量级。Halo 证明了通用智能需要在严格的数学框架下实现连续场和离散链的混合化。
引用
@article{arxiv.2601.18702,
title = {From Fuzzy to Exact: The Halo Architecture for Infinite-Depth Reasoning via Rational Arithmetic},
author = {Hansheng Ren},
journal= {arXiv preprint arXiv:2601.18702},
year = {2026}
}
备注
Architecture update: Formalizes the Dual-Ring Topology and the Clean Transformer