FastBlend：一个使视频风格化更简便的强有力无模型工具包
计算机视觉与模式识别
2023-11-17 v1
摘要
随着扩散模型的出现以及图像处理的快速发展，在风格迁移和图像编辑等任务中生成精美图像已变得轻而易举。然而，这些令人印象深刻的图像处理方法在视频处理中面临一致性问题。本文提出一个名为 FastBlend 的强有力无模型工具包，以解决视频处理中的一致性问题。基于块匹配算法，我们设计了两种推理模式，包括混合与插值。在混合模式下，FastBlend 通过混合滑动窗口内的帧来消除视频闪烁。此外，我们针对不同应用场景优化了计算效率与视频质量。在插值模式下，给定由扩散模型渲染的一帧或多帧关键帧，FastBlend 能够渲染整个视频。由于 FastBlend 不修改扩散模型的生成过程，它展现出极佳的兼容性。大量实验证明了 FastBlend 的有效性。在混合模式下，FastBlend 优于现有的视频去闪烁与视频合成方法。在插值模式下，FastBlend 超越了视频插值与基于模型的视频处理方法。源代码已发布于 GitHub。
引用
@article{arxiv.2311.09265,
title = {FastBlend: a Powerful Model-Free Toolkit Making Video Stylization Easier},
author = {Zhongjie Duan and Chengyu Wang and Cen Chen and Weining Qian and Jun Huang and Mingyi Jin},
journal= {arXiv preprint arXiv:2311.09265},
year = {2023}
}
备注
13 pages, 10 figures