Spot the Error：基于线框定位器的非自回归图形布局生成
计算机视觉与模式识别
2024-01-30 v1
摘要
布局生成是图形设计中实现元素有意义组合的关键步骤。大多数先前的工作将其视为通过连接元素属性标记（即类别、大小、位置）的序列生成问题。迄今为止，自回归方法 (AR) 已取得令人瞩目的结果，但在全局上下文建模方面仍受限制，并且由于只能关注先前生成的标记而遭受误差传播。最近的非自回归尝试 (NAR) 展示了具有竞争力的结果，提供了更宽的上下文范围和迭代解码的灵活性。然而，目前的工作仅使用简单的启发式方法来识别用于细化的错误标记，这并不准确。本文首先进行了深入分析，以更好地理解 AR 和 NAR 框架之间的差异。此外，基于我们观察到像素空间在捕捉图形布局的空间模式（如重叠、对齐）方面更为敏感，我们提出了一种基于学习的定位器来检测错误标记，该定位器以从生成的布局序列渲染的线框图像作为输入。我们表明，它作为对象空间中元素序列的互补模态，对整体性能贡献巨大。在两个公共数据集上的实验表明，我们的方法优于 AR 和 NAR 基线。广泛的研究进一步证明了不同模块的有效性并发现了有趣的结果。我们的代码将在 https://github.com/ffffatgoose/SpotError 提供。
引用
@article{arxiv.2401.16375,
title = {Spot the Error: Non-autoregressive Graphic Layout Generation with Wireframe Locator},
author = {Jieru Lin and Danqing Huang and Tiejun Zhao and Dechen Zhan and Chin-Yew Lin},
journal= {arXiv preprint arXiv:2401.16375},
year = {2024}
}
备注
accepted by AAAI24