快速且安全：带风险控制的提前退出机制

扩展机器学习模型规模能显著提升其性能。然而，这种增益是以推理速度慢和资源消耗大为代价的。提前退出神经网络提供了一种有前景的解决方案：它允许中间层提前退出并产生预测，从而加速推理。然而，提前退出神经网络的一个根本问题是如何确定何时退出而不严重降低性能。换言之，对于提前退出神经网络来说，何时“快速”是“安全”的？为了解决这个问题，我们研究了如何将风险控制框架应用于提前退出神经网络。风险控制提供了一种无分布假设的、事后调整的解决方案，它调整提前退出神经网络的退出机制，使得仅在输出质量足够高时才发生退出。我们在一系列视觉和语言任务上实证验证了我们的见解，表明风险控制可以在保持用户指定性能目标的同时，产生显著的计算节省。