用于图约束房屋生成的图Transformer GAN
计算机视觉与模式识别
2023-03-16 v1 人工智能
摘要
我们提出一种新颖的图Transformer生成对抗网络（GTGAN），以端到端方式学习有效的图节点关系，用于具有挑战性的图约束房屋生成任务。所提的基于图Transformer的生成器包含一种新颖的图Transformer编码器，其在Transformer中结合图卷积与自注意力，以建模连接与非连接图节点间的局部与全局交互。具体而言，所提的连接节点注意力（CNA）与非连接节点注意力（NNA）分别旨在捕获输入图中连接节点与非连接节点间的全局关系。所提的图建模块（GMB）旨在基于房屋布局拓扑利用局部顶点交互。此外，我们提出一种新的基于节点分类的判别器，以保留不同房屋组件的高层语义与判别性节点特征。最后，我们提出一种新颖的基于图的循环一致性损失，旨在维持真值图与预测图之间的相对空间关系。在两个具有挑战性的图约束房屋生成任务（即房屋布局与屋顶生成）上使用两个公开数据集的实验，证明了GTGAN在客观量化分数与主观视觉真实感方面的有效性。在两个任务上均以大幅优势确立了新的SOTA结果。
引用
@article{arxiv.2303.08225,
title = {Graph Transformer GANs for Graph-Constrained House Generation},
author = {Hao Tang and Zhenyu Zhang and Humphrey Shi and Bo Li and Ling Shao and Nicu Sebe and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2303.08225},
year = {2023}
}
备注
CVPR 2023