模型无关元学习中的快速对抗鲁棒性适配
机器学习
2021-02-23 v1 人工智能
计算机视觉与模式识别
摘要
模型无关元学习（MAML）已成为少样本学习中最成功的元学习技术之一。它使我们能够学习模型参数的元初始化（称之为元模型），从而利用少量带标签训练数据快速适配新任务。尽管元模型具有泛化能力，MAML 在少样本学习中如何维持对抗鲁棒性仍不清楚。除泛化外，元模型也需要鲁棒性以防御对抗样本（攻击）。为推动 MAML 中的对抗鲁棒性，我们首先研究在何时应当引入促进鲁棒性的正则化，鉴于 MAML 采用双层次（微调 vs. 元更新）学习过程。我们表明，即使任务特定微调阶段使用标准训练协议，鲁棒化元更新阶段也足以使鲁棒性适配到该阶段。我们还通过审视神经元激活图的可解释性，对获得的鲁棒性适配作了进一步论证。此外，我们研究在 MAML 中如何高效设计鲁棒正则化。我们提出一个通用但易优化的鲁棒正则化元学习框架，其允许使用无标签数据增强、快速对抗攻击生成和计算轻量的微调。特别地，我们首次表明辅助对比学习任务可增强 MAML 的对抗鲁棒性。最后，进行了大量实验以证明我们所提方法在鲁棒少样本学习中的有效性。
引用
@article{arxiv.2102.10454,
title = {On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning},
author = {Ren Wang and Kaidi Xu and Sijia Liu and Pin-Yu Chen and Tsui-Wei Weng and Chuang Gan and Meng Wang},
journal= {arXiv preprint arXiv:2102.10454},
year = {2021}
}