用于零样本学习的语义图

零样本学习旨在通过已知类与未知类之间的知识迁移，在无任何训练数据的情况下对视觉对象进行分类。这通常通过探索一个语义嵌入空间来实现，在该空间中已知类和未知类可以建立关联。以往工作的差异在于所使用的嵌入空间类型，以及不同类别与测试图像之间建立关联的方式。在本文中，我们利用无标注的语义词空间来解决前者问题，并专注于解决后者即建模相关性的问题。具体而言，与以往忽略已知类之间语义关系而仅关注已知类与未知类之间关系的工作不同，本文提出了一种基于语义图的新方法，以在语义词空间中表示所有已知类和未知类之间的关系。基于该语义图，我们设计了一种特殊的吸收马尔可夫链过程，其中每个未知类被视为一个吸收态。在将测试图像纳入语义图后，可以有效计算从测试数据到每个未知类的吸收概率；并通过寻找具有最高吸收概率的类别标签来实现零样本分类。所提出的模型具有闭式解，且其计算复杂度与测试图像数量呈线性关系。我们在 AwA（带有属性的动物）数据集上证明了该方法相较于最先进方法的有效性和计算效率。