基于 Net2Net 变换的节能且鲁棒的累积训练

深度学习已在多项计算机视觉任务上取得最先进（SOTA）精度。然而，训练此类深度神经网络所需的计算与能量开销可能相当高。本文提出一种结合 Net2Net 变换的累积训练策略，与从头训练的模型相比，在不造成较大精度损失的情况下实现了训练计算效率。我们的做法是：首先在原始数据集的一个小子集上训练一个小网络（参数较少），随后通过 Net2Net 变换逐步扩展网络，并在更大的数据子集上增量训练。这种采用 Net2Net 的增量训练策略利用保持函数的变换，将知识从先前的每个小网络迁移到下一个更大的网络，从而降低整体训练复杂度。我们的实验表明，在同等精度下，与从头训练相比，使用 VGG19 对 TinyImageNet 进行累积训练可使训练计算复杂度降低约 2 倍。除训练效率外，我们累积训练策略的一个关键优势是可在 Net2Net 扩展期间进行剪枝，从而获得比常规从头训练最优配置的最终网络（推理计算复杂度降低约 0.4 倍）。我们还证明，通过累积训练得到的最终网络具有更好的泛化性能与噪声鲁棒性。此外，我们展示了由累积 Net2Net 扩展创建的所有网络进行互推理可改进对抗样本检测。