基于早退的深度神经网络分层训练

深度神经网络在视觉任务上提供最先进的精度，但其训练需要大量资源。因此，它们在远离获取数据的边缘设备的云服务器上训练。该问题增加了通信成本、运行时间与隐私担忧。本研究提出一种新颖的深度神经网络分层训练方法，该方法在边缘与云工作节点之间划分的架构中使用早退，以降低通信成本、训练运行时间与隐私担忧。该方法为早退提出了一个全新用例，在训练阶段将神经网络的反向传播分离于边缘与云之间。我们解决了现有多数方法的问题：由于其训练阶段的顺序性质，无法同时训练层级，或以牺牲隐私为代价进行。相反，我们的方法可同时使用边缘与云工作节点，不与云共享原始输入数据，且反向传播期间无需通信。针对不同神经网络架构的若干仿真与设备上实验证明了该方法的有效性。结果表明，当与云通过低比特率信道通信时，所提方法在 CIFAR-10 分类中将 VGG-16 与 ResNet-18 架构的训练运行时间分别减少 29% 与 61%，在 Tiny ImageNet 分类中分别减少 25% 与 81%。运行时间的这一增益是在精度下降可忽略的情况下实现的。该方法有利于在作为边云系统一部分的持传感器低资源设备（如手机或机器人）上在线学习高精度的深度神经网络，使其在面对新任务与数据类别时更具灵活性。