SOYO：通过扩散模型中风格自适应插值实现免微调的视频风格渐变
计算机视觉与模式识别
2025-03-11 v1
摘要
扩散模型在图像和视频风格化方面取得了显著进展。然而，大多数现有方法侧重于单一风格迁移，而涉及多种风格的视频风格化需要它们之间的无缝过渡。我们将这种视频帧之间的平滑风格过渡称为视频风格渐变。当前方法在处理此类过渡时，通常会生成具有不连续结构和突变风格变化的风格化视频帧。为了解决这些局限性，我们引入了 SOYO，一个用于视频风格渐变的新颖的基于扩散的框架。我们的方法采用预训练的文本到图像扩散模型而无需微调，结合注意力注入和 AdaIN 来保持结构一致性并实现跨视频帧的平滑风格过渡。此外，我们注意到直接应用线性等距插值会导致不平衡的风格渐变。为了在视频帧之间实现和谐，我们提出了一种在两个风格图像之间运行的新颖的自适应采样调度器。大量实验表明，SOYO 在开放域视频风格渐变方面优于现有方法，在实现稳定平滑的风格过渡的同时，更好地保持了视频帧的结构连贯性。
引用
@article{arxiv.2503.06998,
title = {SOYO: A Tuning-Free Approach for Video Style Morphing via Style-Adaptive Interpolation in Diffusion Models},
author = {Haoyu Zheng and Qifan Yu and Binghe Yu and Yang Dai and Wenqiao Zhang and Juncheng Li and Siliang Tang and Yueting Zhuang},
journal= {arXiv preprint arXiv:2503.06998},
year = {2025}
}