LayoutGMN：用于结构布局相似性的神经图匹配网络
计算机视觉与模式识别
2021-04-07 v2 信息检索
摘要
我们提出一种深度神经网络，通过利用图匹配网络（GMN）来预测二维布局之间的结构相似性。我们的网络称为 LayoutGMN，通过神经图匹配学习布局度量，采用在三元组网络设定下设计的基于注意力的 GMN。为训练网络，我们利用通过像素级交并比（IoU）获得的弱标签来定义三元组损失。重要的是，LayoutGMN 构建时带有结构偏置，可有效弥补 IoU 中结构感知的缺失。我们通过在大规模数据集上的检索实验，在两种突出的布局形式（即平面图与 UI 设计）上证明了这一点。特别地，与 IoU 及其他基线（包括基于图神经网络与图像卷积的先进方法）相比，我们网络的检索结果更契合人类对结构布局相似性的判断。此外，LayoutGMN 是首个同时提供结构布局相似性度量学习以及布局元素间结构匹配的深度模型。
引用
@article{arxiv.2012.06547,
title = {LayoutGMN: Neural Graph Matching for Structural Layout Similarity},
author = {Akshay Gadi Patil and Manyi Li and Matthew Fisher and Manolis Savva and Hao Zhang},
journal= {arXiv preprint arXiv:2012.06547},
year = {2021}
}