EBJR：用于自适应推理的基于能量联合推理框架

最先进的深度学习模型在各种基准上取得了显著的性能水平。然而，优异的性能是以低效的计算成本为代价的。另一方面，轻量级架构取得了中等的准确率，但具有更理想的延迟。本文提出了一种联合使用大型精确模型与小型快速模型的新方法。为此，我们提出了一种基于能量的联合推理（EBJR）框架，该框架自适应地在浅层模型和深层模型之间分配样本，以实现接近深层模型的准确率，但延迟接近浅层模型。我们的方法适用于开箱即用的预训练模型，因为它不需要改变架构也不需要重新训练。此外，它易于使用和部署，特别是对于云服务。通过在不同的下游任务上进行全面的实验，我们表明我们的方法以可观的差距优于强大的最先进方法。此外，我们提出了专用EBJR，这是我们方法的一个扩展，其中我们创建了一个更小的专用侧模型，该模型仅部分执行目标任务，但产生了更高的准确率和更快的推理。我们通过理论和实验评估验证了我们的方法的优势。