面向布局引导图像生成的诊断基准与迭代修复方法
计算机视觉与模式识别
2024-07-23 v3 人工智能
计算与语言
机器学习
摘要
空间控制是可控图像生成的核心能力。布局引导图像生成的发展已在具有相似空间配置的分布式（ID）数据集上展现出有前景的结果。然而，当面对具有任意、未见布局的分布外（OOD）样本时，这些模型的表现尚不清楚。本文中，我们提出LayoutBench，一个用于布局引导图像生成的诊断基准，考察四类空间控制技能：数量、位置、尺寸和形状。我们对两种近期代表性的布局引导图像生成方法进行基准测试，观察到良好的ID布局控制可能无法很好泛化到真实场景中任意布局（例如边界处的物体）。接下来，我们提出IterInpaint，一种通过修复逐步生成前景和背景区域的新基线，在LayoutBench的OOD布局上展现出比现有模型更强的泛化性。我们对LayoutBench的四项技能进行定量、定性评估与细粒度分析，以定位现有模型的弱点。我们展示了对IterInpaint全面的消融研究，包括训练任务比例、裁剪粘贴与重绘、以及生成顺序。最后，我们在LayoutBench-COCO上评估不同预训练布局引导图像生成模型的零样本性能，这是我们针对真实物体OOD布局的新基准，其中我们的IterInpaint在所有四个划分上一致优于SOTA基线。项目网站：https://layoutbench.github.io
引用
@article{arxiv.2304.06671,
title = {Diagnostic Benchmark and Iterative Inpainting for Layout-Guided Image Generation},
author = {Jaemin Cho and Linjie Li and Zhengyuan Yang and Zhe Gan and Lijuan Wang and Mohit Bansal},
journal= {arXiv preprint arXiv:2304.06671},
year = {2024}
}
备注
CVPR 2024 Workshop; Project website: https://layoutbench.github.io