面向异构推理的量化神经网络垂直分层
机器学习
2022-12-13 v1
摘要
尽管神经网络量化在高效推理方面已取得显著进展，现有方法难以扩展到异构设备，因为针对一种特定硬件设置需训练、传输和存储一个专用模型，导致模型训练与维护成本可观。本文研究一种新的神经网络权重垂直分层表示，用于将全部量化模型封装进单一模型。借助该表示，我们理论上可实现按需服务的任意精度网络，同时仅需训练和维护一个模型。为此，我们提出一种简单的单次量化感知训练（QAT）方案，以获得高性能垂直分层模型。我们的设计引入级联下采样机制，可通过将较高精度权重逐步映射至相邻较低精度对应项，从一个全精度源模型得到多个量化网络。随后，利用来自同一源模型的不同位宽网络，采用多目标优化训练共享的源模型权重，使其在兼顾所有网络性能的同时同步更新。如此，共享权重将被优化以平衡不同量化模型的性能，从而实现权重在不同位宽间的可迁移。实验表明，所提垂直分层表示与开发的单次 QAT 方案能有效将多个量化网络统合于单一模型并支持一次性训练，且在任意特定位宽定制量化模型相当的性能。代码将公开。
引用
@article{arxiv.2212.05326,
title = {Vertical Layering of Quantized Neural Networks for Heterogeneous Inference},
author = {Hai Wu and Ruifei He and Haoru Tan and Xiaojuan Qi and Kaibin Huang},
journal= {arXiv preprint arXiv:2212.05326},
year = {2022}
}
备注
Submitted to IEEE for possible publication