能源感知的动态神经推理

智能应用日益迁移至网络边缘之外，同时对可持续运作的需求正在推动深度学习(DL)算法无缝集成到能源受限乃至能量收获式终端设备中。然而，环境能源源的随机性往往导致收获率不足，无法满足推理能源需求，导致能源不敏感系统中的显著性能下降。为此，我们考虑一种配备能源收获器和有限能源储存容量的设备自适应推理系统。我们允许设备按需降低运行时执行成本，方式包括：在不同尺寸神经网络之间切换，称为多模型选择(MMS)，或在中间层启用早期预测，称为早期退出(EE)。所选模型或退出点将根据能源储存和收获过程状态动态选择。我们还研究了将预测置信度整合到决策制定过程中的有效性。我们推导了一种具有理论保证的原则方法，用于置信度感知和置信度不敏感控制器。此外，在多退出网络中，我们研究了逐层、逐退出地做出决策的优势，通过设计轻量级强化学习控制器来实现。实验结果表明，能源和置信度感知控制方案在准确率上约比能源感知置信度不敏感方案提高约 5%。当能源储存容量有限相对于推理模型能耗时，增量方法甚至实现更高的准确率。