I2VControl-Camera:具有可调运动强度的精确视频相机控制
计算机视觉与模式识别
2025-03-03 v3 人工智能
摘要
视频生成技术正在快速发展,具有广泛的应用前景。在这些技术中,相机控制对于生成准确满足用户期望的专业质量视频至关重要。然而,现有的相机控制方法仍存在若干局限性,包括控制精度不足以及忽视了主体运动动力学的控制。在本工作中,我们提出了 I2VControl-Camera,一种新颖的相机控制方法,在显著增强可控性的同时提供了对主体运动强度的可调性。为了提高控制精度,我们采用相机坐标系中的点轨迹而不仅是外参矩阵信息作为我们的控制信号。为了准确控制和调整主体运动的强度,我们显式建模了视频轨迹展开的高阶分量,而不仅仅是线性项,并设计了一个有效表示运动强度的算子。我们采用独立于基础模型结构的适配器架构。在静态和动态场景上的实验表明,我们的框架在定量和定性方面均优于先前方法。项目页面:https://wanquanf.github.io/I2VControlCamera。
引用
@article{arxiv.2411.06525,
title = {I2VControl-Camera: Precise Video Camera Control with Adjustable Motion Strength},
author = {Wanquan Feng and Jiawei Liu and Pengqi Tu and Tianhao Qi and Mingzhen Sun and Tianxiang Ma and Songtao Zhao and Siyu Zhou and Qian He},
journal= {arXiv preprint arXiv:2411.06525},
year = {2025}
}
备注
Accepted to ICLR 2025, Project page: https://wanquanf.github.io/I2VControlCamera