用于零样本图像分类的注视嵌入
计算机视觉与模式识别
2017-04-14 v2
摘要
使用辅助信息（例如描述判别性物体属性的属性）进行零样本图像分类，需要领域专家进行耗时的标注。相反，我们提出了一种依赖人类注视作为辅助信息的方法，利用了即使是非专家用户也具有判断类别成员关系的自然能力。我们提出了一种涉及判别任务的数据收集范式，以增加从注视数据中获得的信息内容。我们的方法从数据中提取判别性描述符，并使用三种新颖的注视嵌入学习图像与注视之间的兼容性函数：注视直方图（GH）、网格注视特征（GFG）和序列注视特征（GFS）。我们引入了两个新的用于细粒度图像分类的注视标注数据集，并表明人类注视数据确实具有类别判别性，为专家标注的属性提供了有竞争力的替代方案，并在零样本图像分类中优于其他基线方法。
引用
@article{arxiv.1611.09309,
title = {Gaze Embeddings for Zero-Shot Image Classification},
author = {Nour Karessli and Zeynep Akata and Bernt Schiele and Andreas Bulling},
journal= {arXiv preprint arXiv:1611.09309},
year = {2017}
}