具有嵌套预测集的早期退出神经网络
机器学习
2024-06-04 v2 人工智能
机器学习
摘要
早期退出神经网络（EENNs）通过在前向传播的多阶段提供预测来实现自适应高效推理。在安全关键应用中，这些预测唯有附带可靠的不确定性估计才有意义。量化预测模型不确定性的一种流行方法是使用预测集。然而，我们证明如保形预测与贝叶斯可信集等标准技术并不适用于 EENNs：它们往往在各退出层间生成非嵌套集合，即某退出层视为不可能的标签可能在后续退出层的预测集中重现。为解决该问题，我们研究了任意时刻有效置信序列（AVCSs）——传统置信区间面向数据流场景的扩展。这些序列天然嵌套，因而非常适合 EENN 的顺序预测。我们探讨了在 EENNs 中使用 AVCSs 的理论与实践挑战，并表明它们确实在各退出层间产生嵌套集合。因此，我们的工作提出了一种迈向快速且仍安全的预测建模的有前景方法。
引用
@article{arxiv.2311.05931,
title = {Early-Exit Neural Networks with Nested Prediction Sets},
author = {Metod Jazbec and Patrick Forré and Stephan Mandt and Dan Zhang and Eric Nalisnick},
journal= {arXiv preprint arXiv:2311.05931},
year = {2024}
}
备注
UAI 2024