Be-Your-Outpainter：通过输入特定适应掌握视频外绘
计算机视觉与模式识别
2024-03-21 v1
摘要
视频外绘是一项具有挑战性的任务，旨在生成输入视频视口外的视频内容，同时保持帧间和帧内一致性。现有方法在生成质量或灵活性方面存在不足。我们引入了 MOTIA（Mastering Video Outpainting Through Input-Specific Adaptation，通过输入特定适应掌握视频外绘），这是一个基于扩散模型的流水线，利用源视频的内在数据特定模式和图像/视频生成先验来进行有效外绘。MOTIA 包含两个主要阶段：输入特定适应和模式感知外绘。输入特定适应阶段涉及在单样本源视频上进行高效且有效的伪外绘学习。该过程鼓励模型识别并学习源视频中的模式，同时弥合标准生成过程与外绘之间的差距。随后的阶段，即模式感知外绘，致力于将这些学习到的模式泛化以生成外绘结果。我们提出了包括空间感知插入和噪声传播在内的附加策略，以更好地利用扩散模型的生成先验以及从源视频中获取的视频模式。广泛的评估凸显了 MOTIA 的优越性，在广泛认可的基准上超越了现有的 SOTA 方法。值得注意的是，这些进步的取得无需进行大量特定于任务的调优。
引用
@article{arxiv.2403.13745,
title = {Be-Your-Outpainter: Mastering Video Outpainting through Input-Specific Adaptation},
author = {Fu-Yun Wang and Xiaoshi Wu and Zhaoyang Huang and Xiaoyu Shi and Dazhong Shen and Guanglu Song and Yu Liu and Hongsheng Li},
journal= {arXiv preprint arXiv:2403.13745},
year = {2024}
}
备注
Code will be available at https://github.com/G-U-N/Be-Your-Outpainter