L-C4：面向创意与一致性的语言基视频颜色化
计算机视觉与模式识别
2024-11-05 v2
摘要
自动视频颜色化本质上是一个取决于多个可选颜色候选人的 ill-posed 问题。以往的基于示例的视频颜色化方法受限于复杂的检索过程，限制了用户的想象力。另一方面，条件图像颜色化方法结合后处理算法仍难以维持时间一致性。为此，我们提出了 Language-based video Colorization for Creative and Consistent Colors (L-C4)，通过用户提供的语言描述来指导颜色化过程。我们的模型基于预训练的跨模态生成模型，利用其全面的语言理解能力和稳健的颜色表示能力。我们引入跨模态预融合模块以生成实例感知的文本嵌入，从而实现创意颜色的应用。此外，我们提出了可变形注意力以防止闪烁或颜色偏移，以及跨剪辑融合以维持长期颜色一致性。大量实验结果表明，L-C4 优于相关方法，实现了语义准确的颜色、无限制的创意对应以及稳健的时间一致性。
引用
@article{arxiv.2410.04972,
title = {L-C4: Language-Based Video Colorization for Creative and Consistent Color},
author = {Zheng Chang and Shuchen Weng and Huan Ouyang and Yu Li and Si Li and Boxin Shi},
journal= {arXiv preprint arXiv:2410.04972},
year = {2024}
}