基于扰动样本对抗标注的鲁棒正则化
机器学习
2021-05-31 v1 人工智能
机器学习
摘要
近期研究表明，神经网络的预测精度可能与其对抗鲁棒性相冲突。这给设计兼具强对抗鲁棒性的有效正则化方案带来挑战。我们将邻域风险最小化（VRM）重视为统一的正则化原则，提出扰动样本对抗标注（ALPS）作为一种正则化方案，旨在提升训练模型的泛化能力与对抗鲁棒性。ALPS 通过沿每个真实输入样本向另一样本扰动并形成对抗分配标签的合成样本来训练神经网络。ALPS 正则化目标被表述为一个极小极大问题，其中外部问题最小化 VRM 损失的上界，内部问题为扰动样本上 L 球约束的对抗标注。我们优雅地推导了所引致内部最大化问题的解析解，从而实现了计算高效。在 SVHN、CIFAR-10、CIFAR-100 与 Tiny-ImageNet 数据集上的实验表明，ALPS 具有最先进的（SOTA）正则化性能，同时也可作为一种有效的对抗训练方案。
引用
@article{arxiv.2105.13745,
title = {Robust Regularization with Adversarial Labelling of Perturbed Samples},
author = {Xiaohui Guo and Richong Zhang and Yaowei Zheng and Yongyi Mao},
journal= {arXiv preprint arXiv:2105.13745},
year = {2021}
}
备注
Accepted to IJCAI2021