物体、属性及其关联的弱监督学习

当人类描述图像时，他们倾向于使用名词和形容词的组合，分别对应于物体及其关联属性。为了自动生成这样的描述，需要对物体、属性及其关联进行建模。传统方法需要物体和属性位置的强标注，可扩展性较差。在本文中，我们从弱标注图像（例如媒体共享网站（如 Flickr）上广泛可用的，仅给出图像级标签（物体或属性），而没有其位置和关联）中建模物体-属性关联。这是通过引入一种新颖的弱监督非参数贝叶斯模型实现的。一旦学习完成，给定一幅新图像，我们的模型可以描述该图像，包括物体、属性及其关联，以及它们的位置和分割。在基准数据集上的大量实验表明，我们的弱监督模型在基于物体-属性关联的图像描述和检索等任务上表现与强监督模型相当。