面向资源受限设备且无批归一化的高效全 8 位整数 DNN 在线训练
机器学习
2021-05-31 v1
摘要
卷积与批归一化（BN）带来的巨大计算成本给深度神经网络（DNN）的在线训练及相关应用造成了巨大挑战，尤其在资源受限设备中。现有工作仅关注卷积或 BN 的加速，尚无方案能以令人满意的性能同时缓解这两类问题。在线训练已逐渐成为手机等资源受限设备中的趋势，然而目前仍缺乏在模型性能、处理速度与计算成本上均可接受的完整技术方案。本研究提出一种高效的在线训练量化框架 EOQ，其结合了 Fixup 初始化与一种新颖的量化方案，用于 DNN 模型压缩与加速。基于该框架，我们成功实现了全 8 位整数网络训练，并在大规模 DNN 中去除了 BN。特别地，权重更新首次被量化为 8 位整数。我们利用一种具有更弱假设的新型块动态等距（Block Dynamical Isometry）理论，进一步给出了 EOQ 借助 Fixup 初始化去除 BN 的理论分析。得益于合理的量化策略与 BN 的缺失，基于 EOQ 的全 8 位网络在计算成本与处理速度上可达到最先进精度与巨大优势。此外，由于去除了 BN 中不便的平方根运算，深度学习芯片的设计可被大幅简化。除此之外，EOQ 已被证明在批样本更少的小批量在线训练中具有更大优势。总之，EOQ 框架专为降低网络训练中卷积与 BN 的高成本而设计，展示了在线训练在资源受限设备中的广阔应用前景。
引用
@article{arxiv.2105.13890,
title = {Towards Efficient Full 8-bit Integer DNN Online Training on Resource-limited Devices without Batch Normalization},
author = {Yukuan Yang and Xiaowei Chi and Lei Deng and Tianyi Yan and Feng Gao and Guoqi Li},
journal= {arXiv preprint arXiv:2105.13890},
year = {2021}
}