通过常识知识集成实现零样本场景图关系预测
计算机视觉与模式识别
2021-07-13 v1 机器学习
摘要
图像中实体间的关系预测是场景图生成（SGG）中的重要步骤，并进一步影响各种视觉理解与推理任务。然而，现有 SGG 框架需要大量训练，且无法对未见（即零样本）三元组建模。本工作中，我们强调这种能力不足源于缺乏常识推理，即基于对世界的一般理解来关联相似实体并推断相似关系的能力。为填补这一空白，我们提出 CommOnsense-integrAted sCenegrapHrElation pRediction（COACHER），一种集成常识知识用于 SGG 的框架，特别是用于零样本关系预测。具体而言，我们开发了新颖的图挖掘流程，以建模外部常识知识图中实体周围的邻域与路径，并将其集成到最先进的 SGG 框架之上。在来自 Visual Genome 的原始与 manipulated 数据集上的大量定量评估与定性案例研究证明了我们所提方法的有效性。
引用
@article{arxiv.2107.05080,
title = {Zero-Shot Scene Graph Relation Prediction through Commonsense Knowledge Integration},
author = {Xuan Kan and Hejie Cui and Carl Yang},
journal= {arXiv preprint arXiv:2107.05080},
year = {2021}
}
备注
This paper has been accepted for presentation in the Research Track of ECML-PKDD 2021