基于提示的一致视频上色
计算机视觉与模式识别
2025-12-01 v1 人工智能
摘要
现有的视频上色方法在维持时间一致性方面存在困难，或需要大量的人工输入。我们提出了一种新方法，通过语言和分割提供的丰富语义指导，自动化地实现高保真度视频上色。我们采用语言条件扩散模型对灰度帧进行上色。通过自动生成的对象掩码和文本提示提供指导；我们的主要自动方法使用通用提示，无需特定颜色输入即可实现最先进的结果。通过使用光流(RAFT)对先前帧的颜色信息进行错位，以实现时间稳定性；校正步骤检测并修复由错位引入的不一致性。在标准基准测试(DVIS30、VIDEVO20)上的评估表明，我们的方法在颜色精度(PSNR)和视觉真实性(Colorfulness、CDC)方面实现了最先进的性能，证明了自动化提示驱动在一致视频上色方面的有效性。
引用
@article{arxiv.2511.22330,
title = {Prompt-based Consistent Video Colorization},
author = {Silvia Dani and Tiberio Uricchio and Lorenzo Seidenari},
journal= {arXiv preprint arXiv:2511.22330},
year = {2025}
}