DreamCinema：带有自由相机和 3D 角色的电影化转移

我们正生活在数字媒体蓬勃发展的时代，每个人都有潜力成为个人制片人。当前关于视频生成的研究表明，使用扩散模型在像素空间中进行可控电影创作是一个值得期待的途径。然而，过于冗长的提示词以及对电影元素（如相机运动）的关注不足，导致生成的视频缺乏电影质感。此外，缺乏 3D 模型常常会导致视频生成失败，例如不同帧之间角色模型不一致，从而阻碍观众的沉浸式体验。本文提出了一种新的电影创作框架——Dream-Cinema，旨在为用户友好、基于 3D 空间的电影创作提供生成模型支持。具体而言，我们将 3D 电影创作分解为四个关键要素：3D 角色、驱动运动、相机运动和环境。我们从用户指定的电影镜头中提取后三个要素，并通过给定的图像生成 3D 角色。为实现这些要素的无缝组合并确保电影创作的顺畅进行，我们提出了结构引导的角色动画、形状感知的相机运动优化以及环境感知的生成细化。大量实验表明，我们的方法在生成带有自由相机和 3D 角色的高质量电影方面效果显著。