NEAT：面向大规模推理模型的神经元基早期退出
计算与语言
2026-04-17 v1
摘要
大规模推理模型 (LRM) 常常 suffer from ``过度思考''，即在正确解答后仍生成冗余的推理步骤。现有的早期推理退出方法主要依赖输出级别的启发式方法或训练的探测模型以跳过冗余的推理步骤，从而缓解过度思考。然而，这些方法通常需要额外的 rollout 计算或外部标记数据集。在本文中，我们提出了 \textbf{NEAT}，即 \textbf{N}euron-based \textbf{E}arly re\textbf{A}soning exi\textbf{T} 框架，通过监控神经元水平的激活动态实现训练-free 早期退出，不引入额外的测试时计算。NEAT 识别与退出相关的神经元并跟踪其在推理期间的激活模式，以动态触发早期退出或抑制反思，从而在保持解答质量的同时减少不必要的推理。实验在四个推理基准测试上进行，覆盖六个不同规模和架构的模型，结果显示对于每个模型，NEAT 在四个基准测试平均上实现 22%~28% 的 token 减少，同时保持准确率。
引用
@article{arxiv.2602.02010,
title = {NEAT: Neuron-Based Early Exit for Large Reasoning Models},
author = {Kang Liu and Yongkang Liu and Xiaocui Yang and Peidong Wang and Wen Zhang and Shi Feng and Yifei Zhang and Daling Wang},
journal= {arXiv preprint arXiv:2602.02010},
year = {2026}
}