面向运行时可节流神经网络的研究

随着深度神经网络（NN）方法的成熟，将 NN 方案部署到移动电话或嵌入式控制器等“边缘计算”平台的兴趣日益增长。这些平台通常资源受限，尤其在储能与功耗方面，但最先进的 NN 架构在设计时几乎不考虑资源使用。现有的降低 NN 模型资源占用量的技术产生的是静态模型，在性能与资源使用的权衡空间中仅占据单一工作点。本文提出一种创建运行时可节流 NN 的方法，其可响应控制信号自适应地平衡性能与资源使用。可节流网络支持智能资源管理，例如在“简单”条件或电池电量低时分配较少资源。我们描述了通过块级门控实现节流的通用公式，将其应用于创建若干标准 CNN 架构的可节流版本，并证明我们的方法在图像分类与目标检测任务中能够在广泛的工作点范围内实现平滑的性能节流，且仅损失极小的峰值精度。