MatchDiffusion：无训练的匹配剪辑生成方法
计算机视觉与模式识别
2024-12-02 v1 人工智能
机器学习
摘要
匹配剪辑是一种强大的电影工具，可在场景之间创建无缝的转换，提供强大的视觉和隐喻性连接。然而，创作匹配剪辑具有挑战性且需要大量资源，需经过精心的艺术规划。在 MatchDiffusion 中，我们首次提出一种基于文本到视频扩散模型的无训练匹配剪辑生成方法。MatchDiffusion 利用扩散模型的一个关键特性：早期去噪步骤定义场景的宽结构，而后期步骤添加细节。受此洞见启发，MatchDiffusion 采用“联合扩散”对两个提示从共享噪声中进行初始化，以对齐结构和运动；随后应用“ disjoint扩散”，使视频发生 divergence 并引入独特细节。该方法产生适用于匹配剪辑的视觉连贯视频。用户研究和指标均表明，MatchDiffusion 在效果和潜力方面均显示出优势，旨在 democratize 匹配剪辑的创建。
引用
@article{arxiv.2411.18677,
title = {MatchDiffusion: Training-free Generation of Match-cuts},
author = {Alejandro Pardo and Fabio Pizzati and Tong Zhang and Alexander Pondaven and Philip Torr and Juan Camilo Perez and Bernard Ghanem},
journal= {arXiv preprint arXiv:2411.18677},
year = {2024}
}
备注
https://matchdiffusion.github.io