缓解生成偏移的广义零样本学习
计算机视觉与模式识别
2021-07-08 v1
摘要
广义零样本学习（GZSL）是利用语义信息（如属性）识别可见与不可见样本的任务，其中不可见类在训练期间不可观测。基于从可见样本学到的知识推导生成模型并合成不可见类的训练样本是自然之举。然而，此类模型大多遭受“生成偏移”的困扰，即合成样本可能偏离不可见数据的真实分布。本文对该问题进行了深入分析，并提出了一种新颖的生成偏移缓解流（GSMFlow）框架，其由多个条件仿射耦合层组成，用于高效且有效地学习不可见数据合成。具体而言，我们识别出引发生成偏移的三个潜在问题，即语义不一致、方差衰减和结构置换，并分别加以解决。首先，为强化生成样本与相应属性之间的相关性，我们显式地将语义信息嵌入到每个耦合层的变换中。其次，为恢复合成不可见特征的内在方差，我们引入视觉扰动策略以丰富生成数据的类内方差，从而帮助调整分类器的决策边界。第三，为避免语义空间中的结构置换，我们提出相对定位策略来操控属性嵌入，引导其充分保留类间几何结构。实验结果表明，GSMFlow 在常规与广义零样本设定下均取得了最先进的识别性能。我们的代码见：https://github.com/uqzhichen/GSMFlow
引用
@article{arxiv.2107.03163,
title = {Mitigating Generation Shifts for Generalized Zero-Shot Learning},
author = {Zhi Chen and Yadan Luo and Sen Wang and Ruihong Qiu and Jingjing Li and Zi Huang},
journal= {arXiv preprint arXiv:2107.03163},
year = {2021}
}
备注
ACM Multimedia 2021