LayoutDETR：检测 Transformer 是一种优良的多模态版式设计器
计算机视觉与模式识别
2024-10-01 v4
摘要
图形版式设计在视觉传达中起着至关重要的作用。然而手工制作版式设计需要专业技能、耗时且无法扩展到批量生产。生成模型的出现使设计自动化得以扩展，但生成符合设计者多模态需求（即受背景图像约束并由前景内容驱动）的设计仍然非平凡。我们提出 LayoutDETR，它继承了生成建模的高质量与真实感，同时将内容感知需求重新表述为一个检测问题：我们学习在背景图像中检测多模态前景元素在版式中合理的位置、尺度与空间关系。我们的方案在公开基准以及我们新整理的广告横幅数据集上确立了版式生成的新 SOTA 性能。我们将方案集成到一个促进用户研究的图形系统中，并表明用户明显更倾向于我们的设计而非基线。代码、模型、数据集与演示可在 https://github.com/salesforce/LayoutDETR 获取。
引用
@article{arxiv.2212.09877,
title = {LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer},
author = {Ning Yu and Chia-Chih Chen and Zeyuan Chen and Rui Meng and Gang Wu and Paul Josel and Juan Carlos Niebles and Caiming Xiong and Ran Xu},
journal= {arXiv preprint arXiv:2212.09877},
year = {2024}
}
备注
Accepted to ECCV'24