DreamPose：基于 Stable Diffusion 的时尚图像到视频合成
计算机视觉与模式识别
2023-11-01 v4
摘要
我们提出 DreamPose，一种基于扩散的方法，用于从静态图像生成动画时尚视频。给定一张图像和一组人体姿态序列，我们的方法合成包含人体和布料运动的视频。为此，我们将预训练的文本到图像模型（Stable Diffusion）转换为姿态和图像引导的视频合成模型，采用新颖的微调策略、一组支持新增条件信号的架构修改，以及促进时间一致性的技术。我们在 UBC Fashion 数据集的时尚视频集合上微调。我们在多种服装风格和姿态上评估了方法，并证明我们的方法在时尚视频动画上产生了最先进的结果。视频结果见我们的项目页面。
引用
@article{arxiv.2304.06025,
title = {DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion},
author = {Johanna Karras and Aleksander Holynski and Ting-Chun Wang and Ira Kemelmacher-Shlizerman},
journal= {arXiv preprint arXiv:2304.06025},
year = {2023}
}
备注
Project page: https://grail.cs.washington.edu/projects/dreampose/