ImageNet 预训练同样迁移非鲁棒性
计算机视觉与模式识别
2022-12-07 v4 人工智能
摘要
ImageNet 预训练已在许多任务上取得最先进结果。尽管其对泛化的贡献得到公认，我们在本研究中观察到，ImageNet 预训练也会将对抗非鲁棒性从预训练模型迁移到下游分类任务中的微调模型。我们首先在各种数据集和网络骨干上开展实验，揭示微调模型中的对抗非鲁棒性。进一步分析了微调模型与标准模型所学到的知识，揭示导致非鲁棒性的原因是自 ImageNet 预训练模型迁移的非鲁棒特征。最后，我们分析了预训练模型对特征学习的偏好，探讨了影响鲁棒性的因素，并给出了一种简单的鲁棒 ImageNet 预训练方案。我们的代码见 \url{https://github.com/jiamingzhang94/ImageNet-Pretraining-transfers-non-robustness}。
引用
@article{arxiv.2106.10989,
title = {ImageNet Pre-training also Transfers Non-Robustness},
author = {Jiaming Zhang and Jitao Sang and Qi Yi and Yunfan Yang and Huiwen Dong and Jian Yu},
journal= {arXiv preprint arXiv:2106.10989},
year = {2022}
}
备注
Accepted by AAAI2023