将场景图修改视为增量结构扩展
计算机视觉与模式识别
2022-09-20 v1 人工智能
机器学习
摘要
场景图是一种语义表示，表达场景中物体、属性及物体间的关系。场景图在许多跨模态任务中发挥重要作用，因为它们能够捕捉图像与文本之间的交互。本文关注场景图修改 (SGM)，该系统需要学习如何基于自然语言查询更新已有的场景图。与以往重建整个场景图的方法不同，我们将 SGM 构建为图扩展任务，引入增量结构扩展 (ISE)。ISE 通过增量扩展源图来构建目标图，而不改变未修改的结构。基于 ISE，我们进一步提出一种在节点预测与边预测之间迭代的模型，逐步推断更准确且和谐的扩展决策。此外，我们构建了一个具有比现有数据集更复杂查询和更大场景图的挑战性数据集。在四个基准上的实验证明了我们方法的有效性，其以较大优势超越了先前的最先进模型。
引用
@article{arxiv.2209.09093,
title = {Scene Graph Modification as Incremental Structure Expanding},
author = {Xuming Hu and Zhijiang Guo and Yu Fu and Lijie Wen and Philip S. Yu},
journal= {arXiv preprint arXiv:2209.09093},
year = {2022}
}
备注
In COLING 2022 as a long paper. Code and data available at https://github.com/THU-BPM/SGM