通过分解式分布语义从视觉属性到形容词

随着自动化图像分析的发展，对图像进行更丰富语言标注的兴趣日益增长，其中物体属性（如毛茸茸、棕色……）最受关注。基于近期的“零样本学习”方法，并关注属性作为名词修饰语尤其是形容词的语言学性质，我们表明即使在没有包含相关标注的训练数据时，也可用表示属性的形容词来标注图像。我们的方法依赖于两个关键观察。首先，物体可视为属性的集合，通常表达为形容词修饰语（狗是毛茸茸、棕色的等），因此训练用于将物体视觉表示映射到名词标签的函数能隐式学习将属性映射到形容词。其次，物体与属性在图像中共同出现（同一事物既是狗又是棕色的）。从而，通过将图像视为“视觉短语”并将其语言表示分解为表示属性的形容词和表示物体的名词，我们可以实现更好的属性（及物体）标签检索。我们的方法性能与利用人工属性标注的方法相当，在属性与物体标注上均优于多种竞争性替代方法，并且自动构建以属性为中心的表示，显著提升了监督物体识别的性能。