DreamO：面向图像定制的统一框架
计算机视觉与模式识别
2025-12-01 v5
摘要
最近，针对图像定制（如身份、主体、风格、背景等）的大量研究展示了大规模生成模型的强大定制能力。然而，大多数方法针对特定任务设计，限制了其在组合不同类型条件时的通用性。开发面向图像定制的统一框架仍是未解决的挑战。本文提出了 DreamO，一种支持多种任务并能无缝集成多种条件的图像定制框架。具体而言，DreamO 利用扩散转换器（DiT）框架统一处理不同类型的输入。在训练期间，我们构建了一个包含多种定制任务的大规模训练数据集，并引入特征路由约束，以便从参考图像中精准查询相关信息。此外，我们设计了占位符策略，将特定占位符与特定位置上的条件关联，实现对生成结果中条件位置的控制。此外，我们采用由三个阶段组成的渐进式训练策略：初始阶段聚焦于数据有限的简单任务，以建立基线一致性；大规模训练阶段全面提升定制能力；最终质量对齐阶段纠正由低质量数据引入的质量偏差。广泛的实验表明，所提出的 DreamO 能够以高质量且灵活地集成多种控制条件的方式，有效完成各种图像定制任务。
引用
@article{arxiv.2504.16915,
title = {DreamO: A Unified Framework for Image Customization},
author = {Chong Mou and Yanze Wu and Wenxu Wu and Zinan Guo and Pengze Zhang and Yufeng Cheng and Yiming Luo and Fei Ding and Shiwen Zhang and Xinghui Li and Mengtian Li and Mingcong Liu and Yi Zhang and Shaojin Wu and Songtao Zhao and Jian Zhang and Qian He and Xinglong Wu},
journal= {arXiv preprint arXiv:2504.16915},
year = {2025}
}