迭代细化改善组合图像生成
摘要
文本到图像 (T2I) 模型取得了显著进展，但仍在需要同时处理多个 objects、relations 和 attributes 的复杂提示时感到挑战。现有的推理时策略，如使用 verifier 的并行采样或仅增加去噪步骤，虽可改善 prompt 对齐，但在许多约束必须同时满足的 richly compositional setting 中仍不够。灵感来自大语言模型中链律推理的成功，我们提出一种在多个步骤中逐步细化生成的迭代 test-time 策略，通过来自 vision-language model 的反馈作为循环中的 critic。我们的做法 simple，不需要外部工具或 priors，可灵活应用于各种 image generator 和 vision-language model。经验上，我们在多个基准上 demonstrate 一致的提升：在 ConceptMix (k=7) 上 all-correct rate 提升 16.9%，在 T2I-CompBench (3D-Spatial category) 上提升 13.8%，在 Visual Jenga scene decomposition 上提升 12.5%，均高于 compute-matched 并行采样。除了定量提升外，迭代细化还产生更忠实的生成，通过将复杂 prompt 分解为 sequential corrections 来实现，人类评估者在 58.7% 的情况下优先于并行 baseline 的 41.3%。这些发现凸显了 iterative self-correction 作为一种 broadly applicable 的原则，对于组合图像生成具有广泛适用性。结果和可视化可在 https://iterative-img-gen.github.io/ 查看。
引用
@article{arxiv.2601.15286,
title = {Iterative Refinement Improves Compositional Image Generation},
author = {Shantanu Jaiswal and Mihir Prabhudesai and Nikash Bhardwaj and Zheyang Qin and Amir Zadeh and Chuan Li and Katerina Fragkiadaki and Deepak Pathak},
journal= {arXiv preprint arXiv:2601.15286},
year = {2026}
}
备注
Project webpage: https://iterative-img-gen.github.io/