神经网络量化的混淆性权衡
机器学习
2021-02-15 v1 计算机视觉与模式识别
摘要
已开发许多神经网络量化技术以减少深度学习的计算与内存占用。然而，这些方法的评估受制于混淆性权衡，其可能影响推理加速或资源复杂度以换取更高精度。在本工作中，我们阐明多种常被忽视其影响的权衡，并实证分析它们对均匀与混合精度训练后量化的影响，发现这些混淆性权衡对量化网络精度的影响可能大于量化方法本身。由于这些权衡约束了不同用例可实现的硬件加速，我们鼓励研究者通过“量化卡片”的结构明确报告这些设计选择。我们期望量化卡片能帮助研究者更有效地比较方法，并帮助工程师判断量化技术对其硬件的适用性。
引用
@article{arxiv.2102.06366,
title = {Confounding Tradeoffs for Neural Network Quantization},
author = {Sahaj Garg and Anirudh Jain and Joe Lou and Mitchell Nahmias},
journal= {arXiv preprint arXiv:2102.06366},
year = {2021}
}