用核平均池化学习鲁棒核集成
机器学习
2023-05-31 v2 人工智能
神经与进化计算
摘要
模型集成长期以来被用于机器学习中以减少单个模型预测的方差,使其对输入扰动更鲁棒。诸如 dropout 的伪集成方法也常用于深度学习模型以改善泛化。然而,这些技术用于提升神经网络对输入扰动的鲁棒性仍待充分探索。我们提出核平均池化(KAP),一种沿层激活张量的核维度施加均值滤波的神经网络构建模块。我们表明,在配备 KAP 并通过反向传播训练的卷积神经网络中,功能相似的核集成会自然涌现。此外,我们表明当在加性高斯噪声扰动的输入上训练时,KAP 模型对各种形式的对抗攻击极为鲁棒。在 CIFAR10、CIFAR100、TinyImagenet 与 Imagenet 数据集上的实证评估显示,无需在任何对抗样本上训练,其对 AutoAttack 等强对抗攻击的鲁棒性即有显著提升。
引用
@article{arxiv.2210.00062,
title = {Learning Robust Kernel Ensembles with Kernel Average Pooling},
author = {Pouya Bashivan and Adam Ibrahim and Amirozhan Dehghani and Yifei Ren},
journal= {arXiv preprint arXiv:2210.00062},
year = {2023}
}