用于组合零样本学习的连体对比嵌入网络
计算机视觉与模式识别
2022-06-30 v1
摘要
组合零样本学习（CZSL）旨在识别由训练时见过的状态和对象所组成的未见过组合。由于同一状态在视觉外观上可能各异且与不同对象纠缠，CZSL 仍是一项具有挑战性的任务。一些方法使用两个训练好的分类器识别状态和对象，忽略了对象与状态之间交互的影响；其他方法试图学习状态-对象组合的联合表示，导致已见与未见组合集之间的域差距。本文中，我们提出一种新颖的连体对比嵌入网络（SCEN）（代码：https://github.com/XDUxyLi/SCEN-master）用于未见组合识别。考虑到状态与对象之间的纠缠，我们将视觉特征嵌入连体对比空间以分别捕获它们的原型，缓解状态与对象间的交互。此外，我们设计了一个状态转移模块（STM）以增加训练组合的多样性，提升识别模型的鲁棒性。大量实验表明，我们的方法在三个具挑战性的基准数据集（包括近期提出的 C-QGA 数据集）上显著优于最先进的方法。
引用
@article{arxiv.2206.14475,
title = {Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning},
author = {Xiangyu Li and Xu Yang and Kun Wei and Cheng Deng and Muli Yang},
journal= {arXiv preprint arXiv:2206.14475},
year = {2022}
}