NEX：用于无标签链式思考选择和模型排序的神经元探索-开发得分
人工智能
2026-02-06 v1
摘要
大型语言模型 increasingly 在推理计算中进行采样，以生成多个链式思考痕迹或搜索合并检查点。这将导致从生成转向选择成为瓶颈，往往没有针对目标分布的监督。我们指出熵基的探索代理遵循反演U形与精度相关，表明额外的探索可能变得冗余并导致过度思考。我们提出NEX，一种白盒无标签无监督评分框架，将推理视为交替进行E相(探索)和X相(开发)。NEX检测E相作为稀疏激活缓存中每个标记上新激活的MLP神经元数的尖峰，然后使用黏性二状态HMM推断E-X相，并通过E引入的神经元在后续X跨度中是否被重用的方式对E引入的神经元进行信用。这些信号产生可解释的神经元权重和一个单一的Good-Mass Fraction得分，用于在没有任务答案的情况下对候选响应和合并变体进行排序。在推理基准和Qwen3合并系列上，NEX在小型无标签激活集上计算可预测下游精度并识别更好的变体；我们进一步用人类注释验证了E-X信号，并通过"有效-冗余"神经元转移提供因果证据。
引用
@article{arxiv.2602.05805,
title = {NEX: Neuron Explore-Exploit Scoring for Label-Free Chain-of-Thought Selection and Model Ranking},
author = {Kang Chen and Zhuoka Feng and Sihan Zhao and Kai Xiong and Junjie Nian and Yaoning Wang and Changyi Xiao and Yixin Cao},
journal= {arXiv preprint arXiv:2602.05805},
year = {2026}
}
备注
21 pages, 9 figures, 5 tables