VISTA:基于扩散转换器的三元组监督视频风格迁移
计算机视觉与模式识别
2026-05-19 v1
摘要
视频风格迁移旨在在保持内容、结构和运动的前提下,将视频渲染为目标艺术风格。尽管图像风格化取得了快速进展,视频风格化仍面临时间一致性挑战。大多数现有方法针对视频帧或关键帧进行风格化,通过启发式的时间传播来强制一致性,在遮挡、非遮挡和长期运动情况下脆弱,导致漂移和闪烁伪影。我们认为,根本性瓶颈在于缺乏大规模三元组数据以及能够联合建模和解耦风格、内容和运动的原则化训练范式。为此,我们引入了 VISTA-1000 数据集,包含 1000 种风格和风格参考、干净视频与风格化视频的时间对齐三元组,并提出一种基于扩散转换器的上下文视频风格迁移框架,配合轻量级风格适配器实现稳健的风格提取。大量实验表明,VISTA 在风格保真度、时间一致性和内容保持方面实现了 SOTA 性能。
引用
@article{arxiv.2605.17312,
title = {VISTA: Triplet-Supervised Video Style Transfer with Diffusion Transformers},
author = {Yiren Song and Wangzi Yao and Haofan Wang and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2605.17312},
year = {2026}
}