TVG：基于扩散模型的无训练过渡视频生成方法
计算机视觉与模式识别
2024-08-27 v1
摘要
过渡视频在媒体制作中发挥着关键作用，增强视觉叙事的流畅性与连贯性。传统方法如形变技术常缺乏艺术性且需要专业技能，效果有限。近期基于扩散模型的视频生成技术为创造过渡视频提供了新思路，但面临帧与帧之间关系建模不足和内容变化突兀等挑战。我们提出一种无需额外训练的创新过渡视频生成（TVG）方法，运用视频级扩散模型解决上述问题。该方法利用高斯过程回归（）建模潜在表示，确保帧与帧之间的平滑动态过渡。此外，我们引入基于插值的条件控制和频率感知双向融合（FBiF）架构，以增强时间控制与过渡可靠性。对基准数据集和自定义图像对的评估表明，我们的方法在生成高质量平滑过渡视频方面有效。代码已提供于 https://sobeymil.github.io/tvg.com。
引用
@article{arxiv.2408.13413,
title = {TVG: A Training-free Transition Video Generation Method with Diffusion Models},
author = {Rui Zhang and Yaosen Chen and Yuegen Liu and Wei Wang and Xuming Wen and Hongxia Wang},
journal= {arXiv preprint arXiv:2408.13413},
year = {2024}
}