面向混合专家模型鲁棒性与准确性优化：双模型方法

混合专家 (MoE) 在为复杂机器学习任务利用专用专家网络方面显示出惊人的成功。然而，其对对抗攻击的脆弱性是面向鲁棒应用部署的关键挑战。本文解决如何在保持高自然准确性的同时将鲁棒性纳入 MoE 的关键问题。我们首先分析 MoE 组件的脆弱性，发现专家网络对对抗攻击的脆弱性显著高于路由器。基于这一洞察，我们提出一种针对性的鲁棒训练技术，集成新损失函数以增强 MoE 的对抗鲁棒性，仅需对一个额外的专家进行鲁棒化，而不会影响训练或推理效率。基于此，我们引入一种双模型策略，该策略通过平滑参数将标准 MoE 模型与我们鲁棒化的 MoE 模型线性组合。该方法允许灵活控制鲁棒性与准确性之间的权衡。我们进一步通过推导单个 MoE 和双模型的认证鲁棒性界限，提供了理论基础。为推进鲁棒性和准确性的边界，我们提出一种新的联合训练策略 JTDMoE 用于双模型。这种联合训练在鲁棒性和准确性方面超出单独模型可实现的水平。在 CIFAR-10 和 TinyImageNet 数据集上使用 ResNet18 和 Vision Transformer (ViT) 架构的实验结果表明，我们所提出的方法有效。代码已公开于 https://github.com/TIML-Group/Robust-MoE-Dual-Model。