GSMFlow：用于广义零样本学习的生成偏移缓解流
计算机视觉与模式识别
2022-07-11 v2 机器学习
摘要
广义零样本学习（GZSL）旨在通过将语义知识从已见类迁移到未见类来识别来自已见类和未见类的图像。利用生成模型基于从已见类学到的知识来幻化逼真的未见样本是一种有前景的方案。然而，由于生成偏移，大多数现有方法合成的样本可能偏离未见数据的真实分布。为解决此问题，我们提出了一种新颖的基于流的生成框架，其由多个条件仿射耦合层组成以学习未见数据生成。具体而言，我们发现并解决了引发生成偏移的三个潜在问题，即语义不一致、方差坍缩和结构紊乱。首先，为增强生成样本中语义信息的反映，我们显式地将语义信息嵌入每个条件仿射耦合层的变换中。其次，为恢复真实未见特征的内在方差，我们引入一种带熵最大化的边界样本挖掘策略，以发现语义原型的更困难视觉变体，并由此调整分类器的决策边界。第三，提出一种相对定位策略来修正属性嵌入，引导其充分保留类间几何结构，并进一步避免语义空间中的结构紊乱。在四个 GZSL 基准数据集上的大量实验结果表明，GSMFlow 在 GZSL 上取得了 SOTA 性能。
引用
@article{arxiv.2207.01798,
title = {GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning},
author = {Zhi Chen and Yadan Luo and Sen Wang and Jingjing Li and Zi Huang},
journal= {arXiv preprint arXiv:2207.01798},
year = {2022}
}
备注
IEEE Transactions on Multimedia 2022. Journal Extension from "Mitigating Generation Shifts for Generalized Zero-Shot Learning", ACM MM 2021. arXiv admin note: substantial text overlap with arXiv:2107.03163