DNNShifter：一种面向边缘计算的高效 DNN 剪枝系统

深度神经网络（DNNs）支撑着许多机器学习应用。生产质量的 DNN 模型通过训练数百万个 DNN 参数来实现高推理精度，但这带来了显著的资源占用。这对运行在网络极端边缘的资源（例如具有有限计算和内存资源的移动与嵌入式设备）提出了挑战。为此，模型被剪枝以创建适合这些设备的轻量级变体。现有剪枝方法无法在不付出显著时间成本和开销的情况下提供与未剪枝对应模型相近质量的模型，或者仅限于离线用例。我们的工作快速导出合适的模型变体，同时保持原始模型的精度。当系统和网络条件变化以匹配工作负载需求时，模型变体可被快速替换。本文提出 DNNShifter，一个端到端 DNN 训练、空间剪枝和模型切换系统，解决了上述挑战。DNNShifter 的核心是一种使用结构化剪枝来剪枝稀疏模型的新方法。DNNShifter 生成的剪枝模型变体尺寸更小，因此比稠密和稀疏模型前身更快，使其适合在边缘推理，同时保留与原始稠密模型近乎相同的精度。DNNShifter 生成一组可根据运行条件迅速互换的模型变体。DNNShifter 生成剪枝模型变体的速度比常规训练方法快至多 93 倍。与稀疏模型相比，剪枝模型变体至多小 5.14 倍，推理延迟加速 1.67 倍，且不牺牲稀疏模型精度。此外，DNNShifter 的模型切换开销比现有方法低至多 11.9 倍，内存利用率低至多 3.8 倍。