基于语义对应实现时间一致的视频自动上色
计算机视觉与模式识别
2023-05-16 v1
摘要
视频上色任务近来引起了广泛关注。现有方法主要致力于相邻帧或间隔较小帧间的时间一致性，然而在间隔较大帧之间仍存在严重的不一致问题。为此，我们提出了一种新颖的视频上色框架，将语义对应引入视频自动上色以保持长程一致性。首先，设计参考上色网络自动为每段视频的首帧上色，获得参考图像以监督后续整个上色过程；这种自动上色的参考图像不仅能避免耗时费力的人工选取，还可增强参考图像与灰度图像间的相似性。随后，引入语义对应网络与图像上色网络，在参考图像辅助下对剩余一系列帧进行上色。每帧同时受参考图像与紧邻已上色前一帧的监督，从而提升短程与长程时间一致性。大量实验表明，我们的方法在定性及定量上均优于其他方法以维持时间一致性。在 NTIRE 2023 视频上色挑战赛中，我们的方法在色彩分布一致性（CDC）优化赛道位列第 3 名。
引用
@article{arxiv.2305.07904,
title = {Temporal Consistent Automatic Video Colorization via Semantic Correspondence},
author = {Yu Zhang and Siqi Chen and Mingdao Wang and Xianlin Zhang and Chuang Zhu and Yue Zhang and Xueming Li},
journal= {arXiv preprint arXiv:2305.07904},
year = {2023}
}