集成于一体：在随机门控网络内学习集成以增强对抗鲁棒性
机器学习
2021-03-30 v1 密码学与安全
计算机视觉与模式识别
摘要
对抗攻击给现代深度学习系统带来了极高的安全风险。对抗训练可通过抑制非鲁棒特征显著增强神经网络模型的鲁棒性。然而，模型在干净数据上常遭受明显的精度损失。集成训练方法通过分散子模型间的脆弱性，同时维持与标准训练相当的精度，已成为抵御对抗攻击的有前景方案。然而，现有集成方法可扩展性差，因为集成更多子模型时复杂度迅速增加。此外，在真实应用中，由于紧张的硬件资源预算与延迟要求，难以部署含多个子模型的集成。本工作中，我们提出集成于一体（EIO），一种在单一随机门控网络（RGN）内训练集成的简单而高效的方法。EIO 通过用多路径随机门控块（RGBs）替换参数化层来构建 RGN，从而扩充原始模型。通过分散 RGN 内众多路径的脆弱性，可获得更好的鲁棒性。它提供了高可扩展性，因为 EIO 网络内的路径随网络深度呈指数增长。我们的实验表明，EIO 以甚至更少的计算开销持续优于先前的集成训练方法。
引用
@article{arxiv.2103.14795,
title = {Ensemble-in-One: Learning Ensemble within Random Gated Networks for Enhanced Adversarial Robustness},
author = {Yi Cai and Xuefei Ning and Huazhong Yang and Yu Wang},
journal= {arXiv preprint arXiv:2103.14795},
year = {2021}
}