基于参考的具有时空对应关系的视频着色
计算机视觉与模式识别
2020-11-26 v1
摘要
我们提出了一种新颖的具有时空对应关系的基于参考的视频着色框架。基于参考的方法通过参考用户输入的彩色帧为灰度帧着色。现有方法存在物体间颜色泄漏以及出现平均色的问题，这源于空间中的非局部语义对应关系。为解决此问题，我们仅从参考帧上由时间对应关系所限制的区域扭曲颜色。我们使用两种互补的跟踪方法传播掩码作为时间对应关系：现成的实例跟踪用于高性能分割，以及新提出的稠密跟踪用于跟踪各类物体。通过限制用于参考颜色的时间相关区域，我们的方法在整个视频中传播保真颜色。实验表明，我们的方法在定量和定性上均优于最先进的方法。
引用
@article{arxiv.2011.12528,
title = {Reference-Based Video Colorization with Spatiotemporal Correspondence},
author = {Naofumi Akimoto and Akio Hayakawa and Andrew Shin and Takuya Narihira},
journal= {arXiv preprint arXiv:2011.12528},
year = {2020}
}