UniReal：通过学习真实世界动态实现通用图像生成与编辑
计算机视觉与模式识别
2024-12-13 v2
摘要
我们提出 UniReal，一个统一的框架，用于解决各种图像生成和编辑任务。现有解决方案在任务之间差异较大，但共享基本原则：在输入与输出之间保持一致性，同时捕捉视觉变化。灵感来源于最近在视频生成模型中有效平衡帧之间一致性与变化性的方法，我们提出一种统一方法，将图像级任务视为离散的视频生成。具体而言，我们将可变数量的输入图像和输出图像视为帧，从而无缝支持图像生成、编辑、定制、组合等任务。虽然为图像级任务设计，但我们利用视频作为通用监督的可扩展来源。UniReal 从大规模视频中学习世界动态，展现出在处理阴影、反射、姿态变化和物体交互方面的先进能力，同时也展现出新应用的涌现能力。
引用
@article{arxiv.2412.07774,
title = {UniReal: Universal Image Generation and Editing via Learning Real-world Dynamics},
author = {Xi Chen and Zhifei Zhang and He Zhang and Yuqian Zhou and Soo Ye Kim and Qing Liu and Yijun Li and Jianming Zhang and Nanxuan Zhao and Yilin Wang and Hui Ding and Zhe Lin and Hengshuang Zhao},
journal= {arXiv preprint arXiv:2412.07774},
year = {2024}
}
备注
webpage: https://xavierchen34.github.io/UniReal-Page/