面向布局到图像生成的层次可控扩散模型 HiCo
计算机视觉与模式识别
2024-10-21 v1
摘要
布局到图像生成任务涉及根据对象的描述及其空间位置合成图像。现有方法在复杂布局生成中仍存在困难，常见的错误情况包括对象缺失、光照不一致、冲突的视角等。为了有效解决这些问题，我们提出了一种基于层次可控扩散模型(HiCo)用于布局到图像生成，特点是对象可分离条件分支结构。我们的关键洞察是通过对布局进行层次建模来实现空间解耦。我们使用多分支结构表示层次并在融合模块中对其进行聚合。为了评估多目标可控布局生成在自然场景中的性能，我们引入了 HiCo-7K 基准数据集，源自 GRIT-20M 数据集并经人工清洗。https://github.com/360CVGroup/HiCo_T2I
引用
@article{arxiv.2410.14324,
title = {HiCo: Hierarchical Controllable Diffusion Model for Layout-to-image Generation},
author = {Bo Cheng and Yuhang Ma and Liebucha Wu and Shanyuan Liu and Ao Ma and Xiaoyu Wu and Dawei Leng and Yuhui Yin},
journal= {arXiv preprint arXiv:2410.14324},
year = {2024}
}
备注
NeurIPS2024