原型先验：从改进分类到零样本学习

近期关于零样本学习的工作利用侧信息（如视觉属性或自然语言语义）来定义输出视觉类之间的关系，然后在测试时利用这些关系对新的未见类进行推断。作为对这一思想的新颖扩展，我们提出使用视觉原型概念作为侧信息。对于大多数真实世界的视觉对象类别，可能难以建立唯一的原型。然而，在诸如交通标志、品牌标志、旗帜甚至自然语言字符等情况下，这些原型模板是可用的，并且可被借以提升识别性能。本工作提出了一种在深度学习框架中融入该原型信息的方法。使用原型作为先验信息，深度网络流水线学习输入图像到原型嵌入空间的投影，以最小化最终分类损失为约束。基于我们在交通标志和品牌标志两个不同数据集上的实验，融入常规卷积神经网络的原型嵌入改善了识别性能。在Belga标志数据集上的识别准确率尤为显著，并确立了一个新的最先进水平(state-of-the-art)。在零样本学习场景中，同一系统可直接部署，通过在测试时简单添加这些新类的原型信息来对未见类进行推断。因此，与早期方法不同，对可见类与未见类的测试使用相同的流水线处理，并且系统可根据任务需求调优以权衡可见类与未见类的性能。与零样本学习领域最新工作之一的比较在上述两个数据集上取得了顶尖结果。