动态后训练量化中的灾难性失败潜力评估
机器学习
2025-10-06 v1
摘要
后训练量化（PTQ）最近作为一种有效工具，通过以更低精度表示神经网络的权重和激活来降低其计算复杂度和内存使用。尽管该范式在降低计算和存储成本方面取得了显著成功，但取决于推理期间经验输入分布，可能导致性能大幅下降。在考虑在安全关键环境中部署时，重要的是调查潜在的性能下降范围，以及哪些输入分布特征可能引发此类下降。本文探索了动态 PTQ 中的极端失败问题，并构建了一个知识蒸馏和强化学习任务，以学习一个网络和位宽策略对，以便以最坏情况潜力来分析量化下的灾难性失败。我们的结果确认了这种“有害”网络-策略对的存在，多个实例显示在准确率上相较于其“稳健”对手下降 10-65%，而后者仅出现 <2% 的下降。通过系统实验和分析，我们还提供了对最高脆弱性点的初步探索。尽管我们的结果代表了对 PTQ 引入的失败案例进行理解的初步步骤，但我们的发现最终强调了在实际部署场景中需谨慎对待。我们希望本工作鼓励更严格的鲁棒性检查，并在更广泛的深度学习领域中更加强调安全考量。
引用
@article{arxiv.2510.02457,
title = {Assessing the Potential for Catastrophic Failure in Dynamic Post-Training Quantization},
author = {Logan Frank and Paul Ardis},
journal= {arXiv preprint arXiv:2510.02457},
year = {2025}
}