VibeFlow:通过自监督学习实现通用视频色度-光通量编辑
计算机视觉与模式识别
2026-04-16 v1
摘要
视频色度-光通量编辑旨在修改照明和颜色,同时保持结构和时间保真性,这仍是一个重大的挑战。现有方法通常依赖合成配对数据的昂贵监督训练。本文提出了 VibeFlow,一种新型自监督框架,释放了预训练视频生成模型内在的物理理解能力。我们不从头学习颜色和光照转换,而是引入一种解耦数据扰动管道,强制模型自适应地重组源视频的结构和来自参考图像的颜色-照明线索,从而实现自监督式的鲁棒解耦。此外,为纠正基于流的模型固有的离散化误差,我们引入残差速度场,以及结构失真一致性正则化,确保严格的结构保持和时间一致性。我们的框架消除了昂贵的训练资源需求,并以零样本方式对包括视频 relighting、recoloring、low-light enhancement、day-night translation 和 object-specific color 编辑在内的多样化应用进行推广。广泛的实验表明,VibeFlow 在显著降低计算开销的同时,实现了令人印象深刻的视觉质量。我们的项目已公开发布于 https://lyf1212.github.io/VibeFlow-webpage。
引用
@article{arxiv.2604.13425,
title = {VibeFlow: Versatile Video Chroma-Lux Editing through Self-Supervised Learning},
author = {Yifan Li and Pei Cheng and Bin Fu and Shuai Yang and Jiaying Liu},
journal= {arXiv preprint arXiv:2604.13425},
year = {2026}
}