Bit-Mixer：具有运行时位宽选择的混合精度网络
机器学习
2021-04-01 v1 人工智能
计算机视觉与模式识别
摘要
混合精度网络允许网络中每一层采用可变位宽量化。现有工作的一个主要局限是每层的位宽必须在训练时预先定义。若部署网络的设备特性在运行时发生变化，这几乎不具灵活性。本工作中，我们提出 Bit-Mixer，首个训练元量化网络的方法，其在测试时任意层均可改变位宽而不影响整体网络的高精度推理能力。为此，我们作出两项关键贡献：(a) 过渡批归一化（Transitional Batch-Norms），与 (b) 一个被证明能训练此类网络的三阶段优化过程。我们展示我们的方法可得到具备设备端部署所需灵活特性且不损精度的混合精度网络。代码将公开。
引用
@article{arxiv.2103.17267,
title = {Bit-Mixer: Mixed-precision networks with runtime bit-width selection},
author = {Adrian Bulat and Georgios Tzimiropoulos},
journal= {arXiv preprint arXiv:2103.17267},
year = {2021}
}