面向零样本组合学习的任务感知特征生成
计算机视觉与模式识别
2020-03-25 v2 机器学习
摘要
视觉概念（如红苹果、大象）在语义上常具有组合性，且组合的各个元素可被复用以构造新概念（如红大象）。组合特征合成通过利用语义组合性来生成图像特征分布，是一种有望实现样本高效模型泛化的方法。本文提出一种用于组合学习的任务感知特征生成（TFG）框架，通过从已见概念迁移知识来生成新视觉概念的特征。这些合成特征随后被用于训练一个分类器，以零样本方式识别新概念。我们新颖的TFG设计逐层注入任务条件化噪声，在各层产生与任务相关的变化。我们发现所提出的生成器设计提升了分类准确率与样本效率。我们的模型在三个零样本组合学习（ZSCL）基准上建立了新的state of the art，大幅优于此前的判别模型。在广义ZSCL设定下，我们的模型将已有方法的性能提升超过2倍。
引用
@article{arxiv.1906.04854,
title = {Task-Aware Feature Generation for Zero-Shot Compositional Learning},
author = {Xin Wang and Fisher Yu and Trevor Darrell and Joseph E. Gonzalez},
journal= {arXiv preprint arXiv:1906.04854},
year = {2020}
}
备注
17 pages, 9 figures; substantial content updates with additional experiments