DanceCamAnimator:基于关键帧的可控3D舞蹈摄像机合成
计算机视觉与模式识别
2024-09-24 v1 多媒体
摘要
从音乐和舞蹈合成摄像机运动极具挑战性,因其要求相互矛盾且复杂的舞蹈摄影。与人类运动始终连续不同,舞蹈摄像机运动涉及长度可变的连续序列以及为模拟多个摄像机切换而进行的突然剧烈变化。然而,前期研究中,每个摄像机帧被等同对待,导致出现抖动和不可避免的平滑。为解决此问题,我们提出通过整合Animator对舞蹈摄影知识来构建此任务,将其形式化为三个阶段:关键帧检测、关键帧合成和 tween 函数预测。遵循此构建方式,我们设计了一种新型的端到端舞蹈摄像机合成框架\textbf{DanceCamAnimator},模仿人类动画程序,展示出强大的关键帧可控性和可变长度。在DCM数据集上进行的大量实验表明,我们的方法在定量和定性方面均优于先前的基线方法。代码将在\url{https://github.com/Carmenw1203/DanceCamAnimator-Official}公开。
引用
@article{arxiv.2409.14925,
title = {DanceCamAnimator: Keyframe-Based Controllable 3D Dance Camera Synthesis},
author = {Zixuan Wang and Jiayi Li and Xiaoyu Qin and Shikun Sun and Songtao Zhou and Jia Jia and Jiebo Luo},
journal= {arXiv preprint arXiv:2409.14925},
year = {2024}
}
备注
Accepted by ACM Multimedia 2024