Image Conductor：交互式视频合成的精确运动控制
计算机视觉与模式识别
2024-06-24 v1 人工智能
多媒体
摘要
电影制作和动画制作常需协调摄像机转换和物体运动的高级技术，通常涉及实物拍摄的 labor-intensive。尽管生成式 AI 在视频创建方面取得了进展，但实现对交互式视频资产生成的精确运动控制仍具有挑战性。为此，我们提出了 Image Conductor 方法，用于从单张图像生成视频资产，实现对摄像机转换和物体运动的精确控制。提出了一种良好培育的训练策略，通过摄像机 LoRA 权重和物体 LoRA 权重分离不同摄像机和物体运动。为进一步解决来自 poorly 定律轨迹的摄影艺术变异，我们在推理期间引入一种摄像机-free guidance 技术，以增强物体运动而消除摄像机转换。此外，我们开发了一个面向轨迹的视频运动数据 curation 流水线进行训练。定量和定性实验表明，我们的方法在从图像生成可控制运动的视频方面具有精确性和细粒度控制，推动了交互式视频合成的实际应用。项目网页可在 https://liyaowei-stu.github.io/project/ImageConductor/ 查看。
引用
@article{arxiv.2406.15339,
title = {Image Conductor: Precision Control for Interactive Video Synthesis},
author = {Yaowei Li and Xintao Wang and Zhaoyang Zhang and Zhouxia Wang and Ziyang Yuan and Liangbin Xie and Yuexian Zou and Ying Shan},
journal= {arXiv preprint arXiv:2406.15339},
year = {2024}
}
备注
Project webpage available at https://liyaowei-stu.github.io/project/ImageConductor/