Catch-Up Mix：面向 CNN 中 struggling filters 的追赶类

深度学习在计算机视觉领域取得了显著进展，尤其是在图像分类任务中。尽管在训练数据上准确率很高，深度学习模型常常面临复杂性和过拟合相关的挑战。一个值得注意的问题是，模型往往严重依赖少部分 filters 来进行预测。这种依赖性可能导致泛化能力受损，并增加对微小变化的脆弱性。虽然权重衰减、dropout 和数据增强等正则化技术常被用于解决此问题，但它们可能无法直接应对对特定 filters 的依赖。我们的观察表明，当慢学习的 filters 因快学习的 filters 而被剥夺学习机会时，这种严重依赖问题会加剧。受图像增强研究通过移除和替换图像部分区域来对抗对特定图像区域过度依赖的启发，我们的想法是通过替换高激活特征来缓解对强 filters 的过度依赖问题。为此，我们提出了一种名为 Catch-up Mix 的新方法，它在训练期间为广泛的 filters 提供学习机会，重点关注可能滞后的 filters。通过混合具有相对较低范数的激活图，Catch-up Mix 促进了更多样化表示的发展，并减少了对小部分 filters 的依赖。实验结果证明了我们的方法在各种视觉分类数据集上的优越性，提供了增强的鲁棒性。