SQUAD：基于早期退出神经网络集束的可扩展准主导决策
机器学习
2026-02-02 v1 计算机视觉与模式识别
分布式、并行与集群计算
摘要
早期退出神经网络因允许在获得足够置信度时进行中间预测，广泛用于降低推理延迟。然而，传统方法通常依赖单模型置信度阈值，由于内在校准问题，这些阈值常不可靠。为此，我们提出 SQUAD（Scalable Quorum Adaptive Decisions），首个将早期退出机制与分布式集成学习集成的推理方案，旨在改进不确定性估计同时降低推理时间。不同于依赖单个置信度得分的传统方法，SQUAD 采用基于集束的停止准则，通过按计算复杂度递增收集中间预测，直至达成共识并在达 statistically significant 共识时停止计算。为最大化该投票机制的效能，我们还引入 QUEST（Quorum Search Technique），一种神经网络架构搜索方法，用于挑选具有优化分层多样性的早期退出学习者，确保每个中间层的学习者都具有互补性。这种以共识为导向的ethods 方法产生统计上稳健的早期退出，较当前最动态解决方案在可比计算成本下提升测试准确率最高达 5.95%，相较于静态集成降低推理延迟最高达 70.60%，同时保持良好准确率。
引用
@article{arxiv.2601.22711,
title = {SQUAD: Scalable Quorum Adaptive Decisions via ensemble of early exit neural networks},
author = {Matteo Gambella and Fabrizio Pittorino and Giuliano Casale and Manuel Roveri},
journal= {arXiv preprint arXiv:2601.22711},
year = {2026}
}