CinePreGen：基于引擎驱动扩散的摄像机可控视频预可视化
计算机视觉与模式识别
2024-09-02 v1 人机交互
摘要
随着视频生成式 AI 模型（如 SORA）的进步，创作者越来越多地使用这些技术来增强视频预可视化。然而，他们面临着 AI 工作流不完整和不匹配的挑战。现有方法主要依赖文本描述，难以处理摄像机放置这一预可视化的关键组件。为了解决这些问题，我们引入了 CinePreGen，一个由引擎驱动扩散增强的视觉预可视化系统。它具有新颖的摄像机和故事板界面，提供从全局到局部摄像机调整的动态控制。这结合了用户友好的 AI 渲染工作流，旨在通过多掩码 IP-Adapter 和引擎模拟指南实现一致的结果。在我们全面的评估研究中，我们证明了我们的系统降低了开发粘度（即开发过程中的复杂性和挑战），满足了用户在设计过程中对广泛控制和迭代的需求，并且在电影摄像机运动方面优于其他 AI 视频制作工作流，正如我们的实验和受试者内用户研究所表明的那样。凭借其直观的摄像机控制和逼真的摄像机运动渲染，CinePreGen 在改善个人创作者和行业专业人士的视频制作方面展现出巨大潜力。
引用
@article{arxiv.2408.17424,
title = {CinePreGen: Camera Controllable Video Previsualization via Engine-powered Diffusion},
author = {Yiran Chen and Anyi Rao and Xuekun Jiang and Shishi Xiao and Ruiqing Ma and Zeyu Wang and Hui Xiong and Bo Dai},
journal= {arXiv preprint arXiv:2408.17424},
year = {2024}
}