超越贪心退出：面向风险控制与可靠性的改进早期退出决策
机器学习
2025-09-30 v1 人工智能
摘要
早期退出深度神经网络通过允许在中间层进行预测来实现自适应推理，从而显著降低计算成本和延迟。大多数早期退出策略都是在预测置信度超过预定义阈值后（该阈值使用静态验证集设置）在中间层进行贪心退出。这存在两个问题：一是模型可能对错误类别过于自信，二是它们对部署中遇到的分布迁移不够鲁健，这会削弱模型的可信度和准确性。为此，我们提出了 UAT，通过多臂老虎机框架自适应调整退出阈值，实现对退出决策的在线、无监督调整。UAT 根据一种新的奖励函数做出决策，该函数评估预测确定性及其可靠性，以平衡计算效率和预测质量，同时惩罚不必要的晚期退出。我们对 UAT 实现的风险提供了保证，并在涵盖视觉语言理解、文本生成和分类等多种任务上验证了其性能。该框架在加速度（1.70-2.10 倍）和最小性能下降（<2%）方面持续显现优势。我们的源代码可在 https://github.com/Div290/UAT 获取。
引用
@article{arxiv.2509.23666,
title = {Beyond Greedy Exits: Improved Early Exit Decisions for Risk Control and Reliability},
author = {Divya Jyoti Bajpai and Manjesh Kumar Hanawal},
journal= {arXiv preprint arXiv:2509.23666},
year = {2025}
}
备注
Accepted as poster in NeurIPS 2025