广义深度可分离卷积：用于对抗鲁棒且高效的神经网络
机器学习
2021-11-09 v2 计算机视觉与模式识别
摘要
尽管卷积神经网络取得了巨大成功，但其计算/存储成本高，且易受对抗性扰动影响。最近的鲁棒模型压缩工作通过结合模型压缩技术与对抗训练来解决这些挑战。但这些方法无法在提高实际硬件吞吐量（帧/秒）的同时保持对对抗性扰动的鲁棒性。为克服此问题，我们提出了广义深度可分离卷积方法——一种高效、通用的标准2D卷积训练后近似。GDWS显著提高了标准预训练网络在实际硬件上的吞吐量，同时保持其鲁棒性。最后，GDWS可扩展到大规模问题，因为它操作于预训练模型，无需额外训练。我们确立了GDWS作为2D卷积近似器的最优性，并给出了在复杂度和误差约束下构建最优GDWS卷积的精确算法。通过在CIFAR-10、SVHN和ImageNet数据集上的大量实验，证明了GDWS的有效性。我们的代码可在https://github.com/hsndbk4/GDWS获取。
引用
@article{arxiv.2110.14871,
title = {Generalized Depthwise-Separable Convolutions for Adversarially Robust and Efficient Neural Networks},
author = {Hassan Dbouk and Naresh R. Shanbhag},
journal= {arXiv preprint arXiv:2110.14871},
year = {2021}
}
备注
NeurIPS 2021 (Spotlight)