鲁棒专家：对抗训练对具有稀疏混合专家层的 CNN 的影响
计算机视觉与模式识别
2025-09-08 v1 机器学习
摘要
增强卷积神经网络（CNN）对抗对抗攻击的鲁棒性仍然具有挑战性，通常需要资源密集型的对策。我们探索使用稀疏混合专家（MoE）层来提高鲁棒性，通过替换选定的残差块或卷积层，从而在不增加推理成本的情况下增加模型容量。在 CIFAR-100 上训练的 ResNet 架构上，我们发现，在更深阶段插入单个 MoE 层，并结合对抗训练，在 PGD 和 AutoPGD 攻击下持续提高鲁棒性。此外，我们发现当使用 switch loss 进行平衡时，会导致路由坍缩到一小组过度使用的专家上，从而使对抗训练集中于这些路径，并无意中使它们更加鲁棒。因此，一些单个专家的鲁棒性优于门控 MoE 模型，表明鲁棒的子路径通过特化而出现。我们的代码可在 https://github.com/KASTEL-MobilityLab/robust-sparse-moes 获取。
引用
@article{arxiv.2509.05086,
title = {Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers},
author = {Svetlana Pavlitska and Haixi Fan and Konstantin Ditschuneit and J. Marius Zöllner},
journal= {arXiv preprint arXiv:2509.05086},
year = {2025}
}
备注
Accepted for publication at the STREAM workshop at ICCV 2025