利用知识引导辅助描述包含新物体的自然图像

自然场景中的图像蕴含关于各种抽象概念的丰富知识，仅使用包含选定物体的图像-描述对构建的模型无法对其进行充分描述。我们提出在融合了众多抽象概念的知识库引导下处理此类任务。我们的方法分为两步：首先构建一个多实体标签图像识别模型，将抽象概念预测为图像标签；随后在第二步中将其作为外部语义注意力与约束推理，应用于描述生成模型中，以描述描绘未见过/新物体的图像。评估结果表明，在 MSCOCO 上的域外描述任务中,我们的模型优于大多数先前工作，并且通常有助于知识与视觉的融合。