利用对抗样本进行零样本学习
计算机视觉与模式识别
2023-08-02 v1
摘要
零样本学习（ZSL）旨在通过泛化从可见类别获得的知识（即视觉与语义关系）来识别不可见类别，其中图像增强技术常被用于提升模型的泛化能力。然而，该方法也可能对ZSL产生不利影响，因为仅依赖单标签监督的传统增强技术无法保持语义信息，并进而导致语义失真问题。换言之，图像增强可能伪造图像的语义（如属性）信息。为利用图像增强的优势同时缓解语义失真问题，我们提出一种利用对抗样本（HAS）的新颖ZSL方法。HAS通过对抗训练推进ZSL，其考虑了三个关键方面：(1) 通过强制增强样本与负类相似同时保持正确标签来实现鲁棒生成；(2) 通过引入潜空间约束以避免偏离原始数据流形来实现可靠生成；(3) 通过基于属性的扰动（根据每个语义属性的定位调整图像）来实现多样生成。在三个主流零样本基准数据集上的综合实验表明，我们的对抗样本方法在ZSL和广义零样本学习（GZSL）场景下均有效。我们的源代码可在 https://github.com/uqzhichen/HASZSL 获取。
引用
@article{arxiv.2308.00313,
title = {Zero-Shot Learning by Harnessing Adversarial Samples},
author = {Zhi Chen and Pengfei Zhang and Jingjing Li and Sen Wang and Zi Huang},
journal= {arXiv preprint arXiv:2308.00313},
year = {2023}
}
备注
Accepted to ACM International Conference on Multimedia (MM) 2023