不使用任何对抗样本的鲁棒少样本学习
计算机视觉与模式识别
2022-11-04 v1 机器学习
摘要
获取和标注样本的高成本使得“少样本”学习问题至关重要。现有工作主要关注在干净数据上提升性能，而忽视了受对抗噪声扰动数据的鲁棒性问题。近来，已有少量工作尝试利用复杂的元学习技术将少样本问题与共棒性目标相结合。这些方法在每轮训练中都依赖于对抗样本的生成，进一步增加了计算负担。为避免此类耗时且复杂的流程，我们提出了一种简单而有效的替代方案，其不需要任何对抗样本。受人类认知决策过程的启发，我们在预训练阶段通过自蒸馏强制基类数据与其对应的低频样本之间进行高层特征匹配。随后模型在 novel 类的样本上微调，其中我们通过余弦相似度进一步提升低频查询集特征的可判别性。在 CIFAR-FS 数据集的 1-shot 设定下，与基线相比，我们的方法在 PGD 和 SOTA (state-of-the-art) Auto Attack 上的对抗准确率分别大幅提升了 与 ，且干净准确率仅有微小下降。此外，我们的方法仅耗费标准训练时间的 ，同时比 SOTA 对抗元学习方法快约 。代码见 https://github.com/vcl-iisc/robust-few-shot-learning。
引用
@article{arxiv.2211.01598,
title = {Robust Few-shot Learning Without Using any Adversarial Samples},
author = {Gaurav Kumar Nayak and Ruchit Rawal and Inder Khatri and Anirban Chakraborty},
journal= {arXiv preprint arXiv:2211.01598},
year = {2022}
}
备注
TNNLS Submission (Under Review)