通过语义引导生成式随机游走的持续零样本学习
计算机视觉与模式识别
2023-08-25 v1
摘要
学习新概念、记忆已有知识并使其适应未来任务，在人类一生中同时发生。为建模此类综合能力，持续零样本学习（CZSL）近来被提出。然而，现有多数方法过度使用了在真实场景中可能无法持续获取的非可见语义信息。本文中，我们借助生成式建模，解决训练期间不提供非可见信息的持续零样本学习挑战。基于生成的方法之核心在于从可见类学习高质量表示，以改进对非可见视觉空间的生成式理解。受此启发，我们引入泛化界工具，并首次为生成式建模对 CZSL 任务的益处提供理论解释。在理论分析指导下，我们进而提出采用一种新颖的语义引导生成式随机游走（GRW）损失的学习算法。GRW 损失通过持续鼓励模型生成逼真且具表征性的样本来表示非可见空间，从而增强训练。我们的算法在 AWA1、AWA2、CUB 和 SUN 数据集上取得最先进性能，超越现有 CZSL 方法 3-7%。代码已发布于 \url{https://github.com/wx-zhang/IGCZSL}。
引用
@article{arxiv.2308.12366,
title = {Continual Zero-Shot Learning through Semantically Guided Generative Random Walks},
author = {Wenxuan Zhang and Paul Janson and Kai Yi and Ivan Skorokhodov and Mohamed Elhoseiny},
journal= {arXiv preprint arXiv:2308.12366},
year = {2023}
}
备注
Accepted to ICCV 2023