面向语义引导图像外绘的场景图扩展
计算机视觉与模式识别
2022-05-09 v1
摘要
本文处理语义引导图像外绘任务，即通过生成语义上合理的的内容来完成图像。与大多数现有图像外绘工作不同，我们通过理解和在场景图层面完成图像语义来应对上述任务。具体地，我们提出一种新颖的场景图 Transformer (SGT) 网络，其设计以节点和边特征作为输入来建模相关结构信息。为更好地理解并处理基于图的输入，我们的 SGT 独特地在节点和边两个层面执行特征注意力：前者将边视为关系正则化，后者观察节点的共现以引导注意力过程。我们证明，给定带有布局与场景图的部分输入图像，我们的 SGT 可用于场景图扩展并将其转换为完整布局。遵循最先进的布局到图像转换工作，图像外绘任务可在引入充分且实用语义的情况下完成。我们在 MS-COCO 与 Visual Genome 数据集上进行了充分实验，从定量与定性上确认了所提 SGT 与外绘框架的有效性。
引用
@article{arxiv.2205.02958,
title = {Scene Graph Expansion for Semantics-Guided Image Outpainting},
author = {Chiao-An Yang and Cheng-Yo Tan and Wan-Cyuan Fan and Cheng-Fu Yang and Meng-Lin Wu and Yu-Chiang Frank Wang},
journal= {arXiv preprint arXiv:2205.02958},
year = {2022}
}
备注
CVPR 2022