面向广义零样本学习的实例自适应原型对比嵌入
计算机视觉与模式识别
2023-09-15 v2
摘要
广义零样本学习(GZSL)旨在对来自可见和不可见标签的样本进行分类,假设不可见标签在训练期间不可访问。GZSL 的最新进展通过将在生成网络中基于对比学习(基于实例)的嵌入与利用数据点之间的语义关系相结合而加速。然而,现有的嵌入架构存在两个局限:(1)未考虑细粒度簇结构,导致合成特征嵌入的可判别性有限;(2)由于现有对比嵌入网络上受限的缩放机制导致优化不灵活,进而造成嵌入空间中表示重叠。为提升嵌入空间中表示的质量,如(1)所述,我们提出了一种基于边界的原型对比学习嵌入网络,该网络利用了原型-数据(簇质量增强)和隐式数据-数据(细粒度表示)交互的优势,同时为嵌入网络和生成器提供充分的簇监督。为应对(2),我们提出了一种实例自适应对比损失,其能为不可见标签带来具有更大类间边界的泛化表示。通过全面的实验评估,我们表明我们的方法在三个基准数据集上优于当前最先进水平。我们的方法在 GZSL 设定下也始终取得最佳的不可见性能。
引用
@article{arxiv.2309.06987,
title = {Instance Adaptive Prototypical Contrastive Embedding for Generalized Zero Shot Learning},
author = {Riti Paul and Sahil Vora and Baoxin Li},
journal= {arXiv preprint arXiv:2309.06987},
year = {2023}
}
备注
7 pages, 4 figures. Accepted in IJCAI 2023 Workshop on Generalizing from Limited Resources in the Open World