通过强制条件单调性实现早退架构中的 anytime 分类
机器学习
2023-10-31 v2 人工智能
机器学习
摘要
现代预测模型常部署于计算预算动态变化的环境中。anytime 算法非常适用于此类环境，因为其在计算过程中的任意时刻都能输出一个预测，该预测的质量是计算时间的函数。早退神经网络因能在网络各阶段提供中间预测，而在 anytime 计算领域备受关注。然而，我们证明当前的早退网络并不能直接应用于 anytime 场景，因为单个数据点的预测质量并不保证随计算时间延长而提升。为弥补这一缺陷，我们提出了一种基于专家乘积（Product-of-Experts）的优雅后处理修改方法，促使早退网络逐渐变得自信。这使我们的深度模型具备预测质量上的条件单调性——这是使用早退架构实现真正 anytime 预测建模的重要基石。我们在标准图像分类任务上的实证结果表明，在保持平均竞争力准确率的同时，可以实现此类行为。
引用
@article{arxiv.2306.02652,
title = {Towards Anytime Classification in Early-Exit Architectures by Enforcing Conditional Monotonicity},
author = {Metod Jazbec and James Urquhart Allingham and Dan Zhang and Eric Nalisnick},
journal= {arXiv preprint arXiv:2306.02652},
year = {2023}
}
备注
NeurIPS 2023