面向开放世界零样本识别的对抗语义嵌入学习
计算机视觉与模式识别
2023-07-10 v1
摘要
零样本学习（ZSL）致力于仅利用训练时给出的未见类侧边语义信息对其实例进行分类。它无法处理真实开放的场景，即测试中存在未知类样本，而训练时既无其样本（如图像）亦无其侧边语义信息。开放集识别（OSR）专为解决未知类问题，但现有 OSR 方法并未设计对未见类语义信息建模。为应对这一 ZSL 与 OSR 结合的难题，我们考虑“零样本开放集识别”（ZS-OSR）情形：模型在 ZSL 设定下训练，但推断时需准确分类未见类样本并能拒绝未知类样本。我们在由 ZSL 任务适配的四个常用数据集上，对现有最先进 ZSL 与 OSR 模型组合用于 ZS-OSR 任务进行了大量实验，揭示 ZS-OSR 是一项非平凡任务，因为简单组合的方案在区分未见类与未知类样本上表现糟糕。我们进一步引入一种专为 ZS-OSR 设计的新方法，其模型学习生成未知类的对抗语义嵌入，以训练知晓未知的 ZS-OSR 分类器。充分的实证结果表明，我们的方法 1）在检测未知类的同时保持未见类分类精度，大幅优于组合方案；2）在广义 ZS-OSR 设定下亦取得类似优势。
引用
@article{arxiv.2307.03416,
title = {Learning Adversarial Semantic Embeddings for Zero-Shot Recognition in Open Worlds},
author = {Tianqi Li and Guansong Pang and Xiao Bai and Jin Zheng and Lei Zhou and Xin Ning},
journal= {arXiv preprint arXiv:2307.03416},
year = {2023}
}