通过对属性表征的对比优化提升零样本学习
计算机视觉与模式识别
2023-07-19 v3
摘要
零样本学习(ZSL)旨在识别训练集中没有样本的类。一种代表性方案是直接学习一个将视觉特征与相应类语义相关联的嵌入函数，以识别新类。许多方法在此方案上进行了扩展，近期的方法尤其热衷于从图像中提取丰富特征，例如属性特征。这些属性特征通常在每幅图像内部提取；然而，跨图像但属于同一属性的特征之间的共同特性并未得到强调。本文提出一种新的框架，通过显式地学习图像之外的属性原型，并将其与图像内的属性级特征进行对比优化，从而提升ZSL。除新颖的架构外，属性表征有两个要点：设计了一个新的原型生成模块，从属性语义生成属性原型；引入了一种基于难例的对比优化方案，以增强嵌入空间中的属性级特征。我们探索了两种替代骨干网络，基于CNN和基于transformer的，来构建我们的框架，并在三个标准基准CUB、SUN、AwA2上进行了实验。这些基准上的结果表明，我们的方法以可观的幅度改进了当前最优水平。我们的代码将发布于 https://github.com/dyabel/CoAR-ZSL.git
引用
@article{arxiv.2207.03824,
title = {Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations},
author = {Yu Du and Miaojing Shi and Fangyun Wei and Guoqi Li},
journal= {arXiv preprint arXiv:2207.03824},
year = {2023}
}
备注
Accepted to TNNLS