动态稀疏训练与稠密训练：图像损坏鲁棒性中的意外获胜者

人们普遍认为，动态稀疏训练为人工神经网络的可扩展性和效率带来了新时代，或许在分类任务的准确性性能上存在一定代价。同时，稠密训练被广泛接受为训练人工神经网络以最大化其对图像损坏鲁棒性的“事实标准”方法。本文质疑这种普遍做法。因此，我们主张与人们通常所想的相反，动态稀疏训练方法在鲁棒性准确性方面可以持续超过稠密训练，尤其是在效率不是主要目标（即稀疏度在10%到50%之间）时，甚至不需要增加（或甚至减少）资源消耗。我们在图像和视频数据上进行了验证，使用了几种传统和现代的计算机视觉深度学习架构，以及三个广泛研究的动态稀疏训练算法。我们的发现揭示了动态稀疏训练的一个新且鲜为人知的优势，为超越当前最佳实践的深度学习鲁棒性提供了新可能。