ODG-Q：通过在线域泛化实现的鲁棒量化
机器学习
2022-10-18 v1 计算机视觉与模式识别
摘要
将神经网络量化为低比特宽度对于在资源受限的边缘硬件上部署模型十分重要。尽管量化网络具有更小的模型规模与内存占用，但其易受对抗攻击。然而，极少有方法研究量化网络的鲁棒性与训练效率。为此，我们将鲁棒量化重新表述为一个在线域泛化问题，提出一种新方法，称为 ODG-Q，其在训练中以低成本生成多样化的对抗数据。ODG-Q 在各种对抗攻击下持续优于现有工作。例如，在 CIFAR-10 数据集上，ODG-Q 在五种常见白盒攻击下取得 49.2% 的平均提升，在五种常见黑盒攻击下取得 21.7% 的平均提升，且训练成本与自然训练（即无对抗）相近。据我们所知，本工作是首个在 ImageNet 上训练量化神经网络与二值神经网络并持续提高不同攻击下鲁棒性的工作。我们还提供了 ODG-Q 的理论见解，解释了攻击数据上模型风险的界。
引用
@article{arxiv.2210.08701,
title = {ODG-Q: Robust Quantization via Online Domain Generalization},
author = {Chaofan Tao and Ngai Wong},
journal= {arXiv preprint arXiv:2210.08701},
year = {2022}
}