重新思考鲁棒模型无关元学习中的样本数量
计算机视觉与模式识别
2022-11-29 v1
摘要
鲁棒模型无关元学习（MAML）通常用于训练一个元模型，使其能够仅用少量样本快速适应新类别，同时保持对对抗攻击的鲁棒性。鲁棒 MAML 的常规解决方案是在元训练阶段引入促进鲁棒性的正则化。采用这种正则化后，以往的鲁棒 MAML 方法简单地遵循典型的 MAML 做法，即训练样本数量应与测试样本数量匹配，以达到最佳的适应性能。然而，尽管鲁棒性可以大幅提升，以往的方法却牺牲了大量的干净样本准确率。在本文中，我们观察到将促进鲁棒性的正则化引入 MAML 会降低干净样本特征的内蕴维度，从而导致干净表征的容量降低。这或许可以解释为何以往鲁棒 MAML 方法的干净准确率严重下降。基于这一观察，我们提出了一种简单的策略，即增加训练样本数量，以缓解由促进鲁棒性的正则化所导致的内蕴维度损失。尽管方法简单，但我们的方法显著提高了 MAML 的干净准确率，且鲁棒性损失不大，从而产生了一个既鲁棒又准确的模型。大量实验表明，我们的方法在实现准确率与鲁棒性之间更好的权衡方面优于现有技术。此外，我们观察到我们的方法对元训练期间的微调步数不太敏感，这允许减少微调步数以提高训练效率。
引用
@article{arxiv.2211.15180,
title = {Rethinking the Number of Shots in Robust Model-Agnostic Meta-Learning},
author = {Xiaoyue Duan and Guoliang Kang and Runqi Wang and Shumin Han and Song Xue and Tian Wang and Baochang Zhang},
journal= {arXiv preprint arXiv:2211.15180},
year = {2022}
}