Layout-Corrector：缓解离散扩散模型中的布局粘滞现象
计算机视觉与模式识别
2024-09-26 v1 人工智能
图形学
机器学习
摘要
布局生成是一项合成和谐布局的任务，其中的元素由类别、位置和大小等属性表征。人类设计师通过试验元素的放置和修改来创建美观的布局，然而，我们观察到当前的离散扩散模型（DDM）在生成不和谐的布局后难以进行纠正。在本文中，我们首先对 DDM 中的布局粘滞现象提供了新的见解，然后提出了一个简单而有效的布局评估模块 Layout-Corrector，它与现有的 DDM 协同工作以解决布局粘滞问题。我们提出了一个基于学习的模块，能够考虑由复杂构图表征的整体布局和谐性，从而识别布局内的不和谐元素。在生成过程中，Layout-Corrector 评估生成布局中每个 token 的正确性，将得分较低的 token 重新初始化为未生成状态。然后 DDM 以高分 token 为线索重新生成和谐的 token。在常见基准上的测试表明，Layout-Corrector 与各种最先进的 DDM 结合时，能持续提升布局生成性能。此外，我们广泛的分析表明，Layout-Corrector (1) 成功识别了错误的 token，(2) 促进了对保真度-多样性权衡的控制，以及 (3) 显著缓解了与快速采样相关的性能下降。
引用
@article{arxiv.2409.16689,
title = {Layout-Corrector: Alleviating Layout Sticking Phenomenon in Discrete Diffusion Model},
author = {Shoma Iwai and Atsuki Osanai and Shunsuke Kitada and Shinichiro Omachi},
journal= {arXiv preprint arXiv:2409.16689},
year = {2024}
}
备注
Accepted by ECCV2024, Project Page: https://iwa-shi.github.io/Layout-Corrector-Project-Page/