鲁棒专家混合(MoRE)：一种面向多种扰动的鲁棒去噪方法

为应对深度神经网络对对抗样本易受攻击的问题，人们提出了对抗训练，其通过内最大化问题给出一种安全性概念，该问题将一阶对抗样本嵌入到训练损失的外最小化中。为将对抗鲁棒性推广到不同扰动类型，对抗训练方法已通过改进的内最大化进行增强，该内最大化给出了多种扰动的并集，例如各种 $\ell_p$ 范数有界扰动。然而，改进的内最大化在允许的扰动类型方面灵活性有限。在本工作中，我们通过门控机制组装一组专家网络，每个专家网络要么经过对抗训练以处理特定扰动类型，要么经过常规训练以提升在干净数据上的准确率。门控模块动态地为每个专家分配权重，以在各种数据类型（例如对抗样本、恶劣天气扰动和干净输入）下实现更优准确率。为处理梯度混淆问题，门控模块的训练通过与专家网络最后全连接层的对抗训练微调一同进行。通过大量实验，我们表明我们的鲁棒专家混合(MoRE)方法能够实现广泛鲁棒专家模型的灵活集成并取得优异性能。