Open-Sora Plan：开源大型视频生成模型
计算机视觉与模式识别
2024-12-03 v1 人工智能
摘要
我们介绍 Open-Sora Plan，一个旨在基于各种用户输入生成所需高分辨率时长视频的开源项目。我们的项目包括整个视频生成过程的多个组件，包括 Wavelet-Flow 变分自编码器、联合图像-视频 Skiparse Denoiser 以及各种条件控制器。此外，设计了许多高效训练和推理的辅助策略，并提出了多维数据 curated pipeline 以获取所需的高质量数据。得益于高效思想，Open-Sora Plan 在定性和定量评估中均取得了令人印象深刻的视频生成结果。我们希望我们的精心设计和实践经验能够激发视频生成研究社区。我们的所有代码和模型权重均可在 \url{https://github.com/PKU-YuanGroup/Open-Sora-Plan} 公开获取。
引用
@article{arxiv.2412.00131,
title = {Open-Sora Plan: Open-Source Large Video Generation Model},
author = {Bin Lin and Yunyang Ge and Xinhua Cheng and Zongjian Li and Bin Zhu and Shaodong Wang and Xianyi He and Yang Ye and Shenghai Yuan and Liuhan Chen and Tanghui Jia and Junwu Zhang and Zhenyu Tang and Yatian Pang and Bin She and Cen Yan and Zhiheng Hu and Xiaoyi Dong and Lin Chen and Zhang Pan and Xing Zhou and Shaoling Dong and Yonghong Tian and Li Yuan},
journal= {arXiv preprint arXiv:2412.00131},
year = {2024}
}
备注
v1.3