基于原始对象的对抗训练的情境交互，用于组合零样学习
计算机视觉与模式识别
2024-06-24 v1
摘要
组合零样学习（CZSL）旨在通过已知属性-对象对来识别新组合。CZSL 任务的主要挑战在于，属性和对象视觉原始之间的复杂相互作用导致的显著差异，进而降低对新组合的分类性能。以往的卓越工作主要从解缪策略或利用基于对象的条件概率来约束属性选择空间来解决此问题。不幸的是，很少有研究从建模视觉原始相互作用机制的角度来探讨此问题。灵感来自于在跨域少样学习中对抗学习的成功，本文进一步提出一种模型无关且基于原始对象的对抗训练（PBadv）方法来处理此问题。此外，最新研究强调即便在数据平衡条件下，对硬性组合的感知仍然薄弱。为此，我们提出一种基于对象相似性指导的过采样策略，以增强目标组合训练数据。我们在著名数据集（如 UT-Zappos50K、MIT-States 和 C-GQA）上进行详细的定量分析和检索实验，以验证我们方法的有效性，现有的州-of-the-art（SOTA）性能证明了我们方法的优越性。代码已公开于 https://github.com/lisuyi/PBadv_czsl。
引用
@article{arxiv.2406.14962,
title = {Contextual Interaction via Primitive-based Adversarial Training For Compositional Zero-shot Learning},
author = {Suyi Li and Chenyi Jiang and Shidong Wang and Yang Long and Zheng Zhang and Haofeng Zhang},
journal= {arXiv preprint arXiv:2406.14962},
year = {2024}
}