判别训练的零样本学习模型的鲁棒性如何？
计算机视觉与模式识别
2022-04-11 v2 人工智能
摘要
数据偏移鲁棒性主要从全监督视角进行研究，而零样本学习(ZSL)模型的鲁棒性在很大程度上被忽视。本文对判别型ZSL对图像损坏的鲁棒性进行了新颖分析。我们将若干ZSL模型置于大量常见损坏与防御之下。为实现损坏分析，我们策划并发布了首个ZSL损坏鲁棒性数据集SUN-C、CUB-C与AWA2-C。我们通过考虑数据集特性、类不平衡、可见与不可见类之间的类迁移以及ZSL与GZSL性能间的差异来分析结果。我们的结果表明，判别型ZSL受损坏影响，且这一趋势因ZSL方法固有的严重类不平衡与模型弱点而进一步加剧。随后我们将发现与基于ZSL对抗攻击的结果结合，并凸显损坏与对抗样本的不同效应，例如对抗攻击下存在的伪鲁棒性效应。我们还通过防御方法为各模型获得了新的强基线。最后，我们的实验表明，尽管现有提升鲁棒性的方法对ZSL模型有一定作用，但并未产生切实效果。
引用
@article{arxiv.2201.10972,
title = {How Robust are Discriminatively Trained Zero-Shot Learning Models?},
author = {Mehmet Kerim Yucel and Ramazan Gokberk Cinbis and Pinar Duygulu},
journal= {arXiv preprint arXiv:2201.10972},
year = {2022}
}