关于现代量化高效神经网络的校准研究
机器学习
2023-09-27 v2 计算机视觉与模式识别
摘要
我们探究了三种架构：ShuffleNetv2、GhostNet-VGG 与 MobileOne；以及两个数据集：CIFAR-100 与 PathMNIST 在不同精度下的校准特性。观察到校准质量随量化质量而变化；已有充分文献表明性能随精度降低而恶化，我们观察到其与更差的校准存在类似相关性。这在 4-bit 激活机制下变得尤为严重。GhostNet-VGG 被证明在较低精度下对整体性能下降最具鲁棒性。我们发现温度缩放可改善量化网络的校准误差，但存在一些注意事项。我们希望这些初步见解能为可解释且可靠的 EdgeML 带来更多机遇。
引用
@article{arxiv.2309.13866,
title = {On Calibration of Modern Quantized Efficient Neural Networks},
author = {Joey Kuang and Alexander Wong},
journal= {arXiv preprint arXiv:2309.13866},
year = {2023}
}
备注
Accepted as an extended abstract at the ICCV 2023 Workshop on Low-Bit Quantized Neural Networks. Corrected some typos