Know What You Don't Know：面向早期退出深度神经网络的选择性预测
机器学习
2025-09-16 v1 人工智能
摘要
深度神经网络（DNN）的推理延迟和可信度是其在敏感任务等关键应用中部署的瓶颈。早期退出（EE）DNN 通过允许样本在其获得预测类别的“高”置信度得分时从中间层退出来克服延迟问题。然而，DNN 已显示出过度自信，这可能导致许多样本提前退出，从而使 EE 策略不可靠。我们使用选择性预测（SP）来克服这一问题，通过检查样本的“难度”而不仅仅依赖置信度得分。我们提出了SPEED 方法，在每一层设置 deferral classifiers（DCs）以在执行EE之前检查样本的难度。具体而言，DCs 在中间层识别样本是否难以预测以产生幻觉，并将其 defer 给专家。对困难样本的早期检测可防止计算资源的浪费，并通过将困难样本 defer 给专家来提高可信度。我们证明，与 SP 辅助的 EE 在准确率和延迟方面均有所提高。该方法较 final layer 减少错误预测风险约50%，加速度为2.05倍。已匿名化的源代码可在 https://github.com/Div290/SPEED 获取。
引用
@article{arxiv.2509.11520,
title = {Know What You Don't Know: Selective Prediction for Early Exit DNNs},
author = {Divya Jyoti Bajpai and Manjesh Kumar Hanawal},
journal= {arXiv preprint arXiv:2509.11520},
year = {2025}
}
备注
To appear in the the Fifth International Conference on AI ML Systems