QONNX:表示任意精度量化神经网络
机器学习
2022-06-27 v3 硬件体系结构
编程语言
机器学习
摘要
我们提出对开放神经网络交换(ONNX)中间表示格式的扩展,以表示任意精度量化神经网络。我们首先通过利用整数截断,在现有基于 ONNX 的量化格式中引入低精度量化支持,从而产生两种新的向后兼容变体:带截断的量化算子格式与量化-截断-反量化(QCDQ)格式。随后我们引入一种称为量化 ONNX (QONNX) 的新型更高层 ONNX 格式,其引入三个新算子——Quant、BipolarQuant 和 Trunc——以表示均匀量化。通过保持 QONNX IR 高层且灵活,我们得以面向更广泛的平台。我们还提供了用于处理 QONNX 的实用工具,以及其在 FINN 和 hls4ml 工具链中使用的示例。最后,我们引入 QONNX model zoo 以共享低精度量化神经网络。
引用
@article{arxiv.2206.07527,
title = {QONNX: Representing Arbitrary-Precision Quantized Neural Networks},
author = {Alessandro Pappalardo and Yaman Umuroglu and Michaela Blott and Jovan Mitrevski and Ben Hawks and Nhan Tran and Vladimir Loncar and Sioni Summers and Hendrik Borras and Jules Muhizi and Matthew Trahms and Shih-Chieh Hsu and Scott Hauck and Javier Duarte},
journal= {arXiv preprint arXiv:2206.07527},
year = {2022}
}
备注
9 pages, 5 figures, Contribution to 4th Workshop on Accelerated Machine Learning (AccML) at HiPEAC 2022 Conference