结合外部知识与图像重建的场景图生成
计算机视觉与模式识别
2019-04-02 v1
摘要
随着物体检测、属性与关系预测等图像理解任务的进展，场景图生成受到越来越多的关注。然而，现有数据集在物体与关系标签方面存在偏置，或常带有噪声与缺失标注，这使得开发可靠的场景图预测模型极具挑战性。本文中，我们提出一种结合外部知识与图像重建损失的新型场景图生成算法，以克服这些数据集问题。具体而言，我们从外部知识库中提取常识知识来精炼物体与短语特征，从而提升场景图生成的泛化能力。为应对噪声物体标注的偏置，我们引入一条辅助图像重建路径来正则化场景图生成网络。大量实验表明，我们的框架能生成更好的场景图，在两个基准数据集Visual Relationship Detection与Visual Genome上取得了最先进的性能。
引用
@article{arxiv.1904.00560,
title = {Scene Graph Generation with External Knowledge and Image Reconstruction},
author = {Jiuxiang Gu and Handong Zhao and Zhe Lin and Sheng Li and Jianfei Cai and Mingyang Ling},
journal= {arXiv preprint arXiv:1904.00560},
year = {2019}
}
备注
10 pages, 5 figures, Accepted in CVPR 2019