演化语义原型改进生成式零样本学习
机器学习
2023-06-13 v1 计算机视觉与模式识别
摘要
在零样本学习（ZSL）中，生成式方法基于预定义的语义原型合成与类别相关的样本特征。它们通过合成未见类别的样本特征以更好地训练分类器，从而推进 ZSL 性能。我们观察到，每个类别的预定义语义原型（亦称语义嵌入或条件）并未准确匹配其真实语义原型。因此，合成的可视样本特征并不能忠实代表真实样本特征，限制了分类器训练与现有 ZSL 性能。在本文中，我们将此失配现象表述为视觉-语义域偏移问题。我们提出一种动态语义原型演化（DSP）方法，以对齐经验预定义语义原型与真实原型，用于类别相关特征合成。该对齐通过在同一框架中精炼样本特征与语义原型，并使合成的可视样本特征逼近真实样本特征来学习。对齐后，来自未见类别的合成样本特征更接近于真实样本特征，并助力 DSP 在标准 CUB、SUN、AWA2 数据集上以 8.5%、8.0% 和 9.7% 的幅度改进现有生成式 ZSL 方法，显著的性能提升表明演化语义原型在 ZSL 中开辟了一片处女地。
引用
@article{arxiv.2306.06931,
title = {Evolving Semantic Prototype Improves Generative Zero-Shot Learning},
author = {Shiming Chen and Wenjin Hou and Ziming Hong and Xiaohan Ding and Yibing Song and Xinge You and Tongliang Liu and Kun Zhang},
journal= {arXiv preprint arXiv:2306.06931},
year = {2023}
}
备注
Accepted to ICML'23