置信门控训练：高效早退出神经网络
机器学习
2026-01-12 v2 人工智能
摘要
早退出神经网络通过在中间层启用确定性预测，从而降低推理成本。然而，联合训练常导致梯度干扰，深层分类器主导优化。我们提出置信门控训练（Confidence-Gated Training, CGT）方法，通过在前置退出失败时条件性地传播深层退出的梯度，以此鼓励浅层分类器成为主要决策点，同时保留深层网络处理更难的输入。通过与推理时间策略一致的训练，CGT缓解了过度思考问题，提高了早退出准确率，同时保持效率。在印度坡子（Indian Pines）和Fashion-MNIST基准实验中，CGT在降低平均推理成本的同时提升了总体准确率，为在资源受限环境中部署深层模型提供了实用解决方案。
引用
@article{arxiv.2509.17885,
title = {Confidence-gated training for efficient early-exit neural networks},
author = {Saad Mokssit and Ouassim Karrakchou and Alejandro Mousist and Mounir Ghogho},
journal= {arXiv preprint arXiv:2509.17885},
year = {2026}
}