训练后量化的可靠性基准测试：特别关注最坏情况性能
机器学习
2023-03-24 v1 计算机视觉与模式识别
摘要
训练后量化（PTQ）是一种在不修改深度神经网络（DNN）原有架构或训练流程的前提下压缩模型的流行方法。尽管其有效且便捷，PTQ方法在分布偏移和数据噪声等极端情况下的可靠性仍很大程度上未被探索。本文首先在多种常用PTQ方法上研究该问题。我们旨在回答若干与校准集分布变化、校准范式选择以及数据增强或采样策略对PTQ可靠性的影响相关的研究问题。我们在广泛任务和常用PTQ范式上进行了系统评估。结果表明，大多数现有PTQ方法在最坏情况分组性能方面不够可靠，凸显了对更鲁棒方法的需求。我们的发现为开发能够有效处理分布偏移场景并支持量化DNN在真实应用中部署的PTQ方法提供了见解。
引用
@article{arxiv.2303.13003,
title = {Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance},
author = {Zhihang Yuan and Jiawei Liu and Jiaxiang Wu and Dawei Yang and Qiang Wu and Guangyu Sun and Wenyu Liu and Xinggang Wang and Bingzhe Wu},
journal= {arXiv preprint arXiv:2303.13003},
year = {2023}
}