DreamColour：无需训练的可控视频配色编辑
计算机视觉与模式识别
2024-12-09 v1
摘要
视频配色编辑是内容创作中的关键任务，但现有解决方案要么需要繁琐的逐帧操作，要么产生不真实的结果并伴随时序性噪声。我们提出一种实用且无需训练的框架，通过直观界面实现精准的视频配色编辑，同时保持专业质量的输出。我们的关键洞察是，通过解耦视频配色的空间与时序方面，我们能更好地遵循用户的自然工作流程——让用户在关键帧上专注于精确的配色选择，然后自动在时间上传播更改。我们通过一种新型技术框架实现这一点，包括：（i）一种简单点选界面，将基于网格的配色选择与自动实例分割融合，以实现精确的空间控制；（ii）双向配色传播利用视频中固有的运动模式；（iii）运动感知混合确保即使在复杂物体运动下也能平滑过渡。通过对多样化场景的广泛评估，我们展示了该方法在消除训练需求和专业硬件需求的同时，匹配或超越了先进方法，使专业质量的视频配色编辑为所人所能。
引用
@article{arxiv.2412.05180,
title = {DreamColour: Controllable Video Colour Editing without Training},
author = {Chaitat Utintu and Pinaki Nath Chowdhury and Aneeshan Sain and Subhadeep Koley and Ayan Kumar Bhunia and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2412.05180},
year = {2024}
}
备注
Project page available at https://chaitron.github.io/DreamColour-demo