零样本学习中的对抗鲁棒性：关于类别与概念层面脆弱性的实证研究
计算机视觉与模式识别
2025-12-23 v1
摘要
零样本学习（Zero-shot Learning, ZSL）旨在使图像分类器能够识别训练过程中未包含的未知类别的图像。不同于传统监督分类，ZSL通常依赖于从视觉特征映射到预定义、人类可理解的类别概念。虽然ZSL模型有望提高泛化性和可解释性，但其在系统性输入扰动下的鲁棒性尚不明确。本研究对现有ZSL方法在类别层面和概念层面的鲁棒性进行实证分析。具体而言，我们成功地通过著名的非目标类别攻击（clsA）破坏了其类别预测。然而，在广义零样本学习（Generalized Zero-shot Learning, GZSL）设置下，我们发现clsA的成功仅限于原始最佳校准点。攻击后，最佳校准点发生偏移，ZSL模型在其他校准点上保持相当强的性能，这表明clsA在GZSL中导致的是一种虚假的攻击成功。在此基础上，我们提出了类别偏置增强攻击（Class-Bias Enhanced Attack, CBEA），通过增强已见类别概率与未见类别概率之间的差距，完全消除GZSL在所有校准点上的准确性。随后，在概念层面攻击方面，我们引入两种新颖的攻击模式：类别保持概念攻击（Class-Preserving Concept Attack, CPconA）和非类别保持概念攻击（Non-Class-Preserving Concept Attack, NCPconA）。我们的广泛实验评估了过去三年时间段内的三种典型ZSL模型，揭示ZSL模型不仅对传统类别攻击脆弱，而且对基于概念的攻击也十分脆弱。这些攻击允许恶意行为者通过擦除或引入概念来轻易操控类别预测。我们的发现突显了现有方法之间存在显著的性能差距，强调当前ZSL模型需要 improved 的对抗鲁棒性。
引用
@article{arxiv.2512.18651,
title = {Adversarial Robustness in Zero-Shot Learning:An Empirical Study on Class and Concept-Level Vulnerabilities},
author = {Zhiyuan Peng and Zihan Ye and Shreyank N Gowda and Yuping Yan and Haotian Xu and Ling Shao},
journal= {arXiv preprint arXiv:2512.18651},
year = {2025}
}