MyGo：具有相机控制的一致且可控多视角驾驶视频生成
计算机视觉与模式识别
2024-09-12 v2
摘要
高质量的驾驶视频生成对于为自动驾驶模型提供训练数据至关重要。然而，当前的生成模型很少关注在多视角任务下增强相机运动控制，而这对于驾驶视频生成至关重要。因此，我们提出了 MyGo，一个端到端的视频生成框架，引入车载相机的运动作为条件，以在相机可控性和多视角一致性方面取得进展。MyGo 采用额外的即插即用模块，将相机参数注入预训练的视频扩散模型，从而尽可能保留预训练模型的广泛知识。此外，我们在每个视角的生成过程中使用极线约束和相邻视角信息来增强时空一致性。实验结果表明，MyGo 在通用相机控制视频生成和多视角驾驶视频生成任务中均取得了最先进的结果，为自动驾驶中更精确的环境模拟奠定了基础。项目页面：https://metadrivescape.github.io/papers_project/MyGo/page.html
引用
@article{arxiv.2409.06189,
title = {MyGo: Consistent and Controllable Multi-View Driving Video Generation with Camera Control},
author = {Yining Yao and Xi Guo and Chenjing Ding and Wei Wu},
journal= {arXiv preprint arXiv:2409.06189},
year = {2024}
}
备注
Project Page: https://metadrivescape.github.io/papers_project/MyGo/page.html