DreamDance：通过修复稳定高斯世界实现角色艺术动画
计算机视觉与模式识别
2025-06-02 v1
摘要
本文提出了 DreamDance，一种新颖的角色艺术动画框架，能够以精确的相机轨迹为条件，产生稳定、一致的角色和场景运动。为此，我们将动画任务重新表述为两个基于修复的步骤：相机感知场景修复和姿态感知视频修复。第一步利用预训练的图像修复模型从参考艺术图像生成多视角场景图像，并优化稳定的大规模高斯场，从而实现具有相机轨迹的粗糙背景视频渲染。然而，渲染出的视频较为粗糙，仅传达场景运动。为解决此问题，第二步训练了一个姿态感知视频修复模型，将动态角色注入场景视频，同时提升背景质量。具体而言，该模型是一个基于 DiT 的视频生成模型，采用门控策略将角色的外观和姿态信息自适应地整合到基础背景视频中。通过大量实验，我们展示了 DreamDance 的有效性和泛化能力，生成了具有显著相机动态的高质量且一致的角色动画。
关键词
引用
@article{arxiv.2505.24733,
title = {DreamDance: Animating Character Art via Inpainting Stable Gaussian Worlds},
author = {Jiaxu Zhang and Xianfang Zeng and Xin Chen and Wei Zuo and Gang Yu and Guosheng Lin and Zhigang Tu},
journal= {arXiv preprint arXiv:2505.24733},
year = {2025}
}