检查、定位、修正：一种用于文本到图像生成的免训练布局校准系统
计算机视觉与模式识别
2024-03-26 v3
摘要
扩散模型近期在生成逼真图像方面取得了显著进展。然而，在准确理解并合成文本提示中的布局要求方面仍存在挑战。为使生成图像与布局指令对齐，我们提出一种免训练的布局校准系统 SimM，其在推理时即时干预生成过程。具体而言，遵循“检查-定位-修正”流程，系统首先分析提示以生成目标布局，并将其与中间输出比较以自动检测错误。随后，通过移动已定位的激活并在图内与图间进行调整，修正过程得以以可忽略的计算开销执行。为在一系列布局要求上评估 SimM，我们提出基准 SimMBench，其弥补了现有数据集中缺失最高级空间关系的不足。定量与定性结果均证明了所提 SimM 在校准布局不一致性上的有效性。我们的项目页面位于 https://simm-t2i.github.io/SimM。
引用
@article{arxiv.2311.15773,
title = {Check, Locate, Rectify: A Training-Free Layout Calibration System for Text-to-Image Generation},
author = {Biao Gong and Siteng Huang and Yutong Feng and Shiwei Zhang and Yuyuan Li and Yu Liu},
journal= {arXiv preprint arXiv:2311.15773},
year = {2024}
}