基于深度特征传播与自正则化学习的时序一致视频着色
计算机视觉与模式识别
2021-10-12 v1 图像与视频处理
摘要
视频着色是一个具有挑战性且高度不适定的问题。尽管近年来单图像着色取得了显著进展，但关于视频着色的研究相对较少，且现有方法总是存在严重的闪烁伪影（时序不一致）或令人不满意的着色效果。我们从一个新的角度解决该问题，在统一框架中联合考虑着色与时序一致性。具体而言，我们提出了一种新颖的时序一致视频着色框架（TCVC）。TCVC 以双向方式有效地传播帧级深度特征，以增强着色的时间一致性。此外，TCVC 引入了一种自正则化学习（SRL）方案，以最小化由不同时间步长获得的预测差异。SRL 不需要任何真实彩色视频进行训练，并且可以进一步提高时序一致性。实验表明，我们的方法不仅能获得视觉上令人愉悦的彩色化视频，而且相比最先进的方法在时序一致性上明显更优。
引用
@article{arxiv.2110.04562,
title = {Temporally Consistent Video Colorization with Deep Feature Propagation and Self-regularization Learning},
author = {Yihao Liu and Hengyuan Zhao and Kelvin C. K. Chan and Xintao Wang and Chen Change Loy and Yu Qiao and Chao Dong},
journal= {arXiv preprint arXiv:2110.04562},
year = {2021}
}
备注
13 pages, 10 figures