SVCNet：基于涂鸦与时序聚合的视频着色网络
计算机视觉与模式识别
2023-08-16 v2 多媒体
摘要
本文提出一种基于涂鸦并带有时序聚合的视频着色网络SVCNet。它可基于用户给定的不同颜色涂鸦对单色视频进行着色。该网络解决了基于涂鸦的视频着色领域的三个常见问题：着色生动性、时间一致性和颜色溢出。为提升着色质量并增强时间一致性，SVCNet采用两个顺序子网络分别用于精确着色和时间平滑。第一阶段包含金字塔特征编码器以将颜色涂鸦与灰度帧融合，以及语义特征编码器以提取语义。第二阶段通过聚合相邻已着色帧(作为短程连接)和首帧已着色帧(作为长程连接)的信息来对第一阶段的输出进行微调。为减轻颜色溢出伪影，我们同时学习视频着色与分割。此外，我们将大部分操作置于固定的小图像分辨率上，并在SVCNet尾部使用超分辨率模块恢复原始尺寸，从而使SVCNet在推理时可适配不同图像分辨率。最后，我们在DAVIS和Videvo基准上评估所提SVCNet。实验结果表明，SVCNet比其他知名视频着色方法生成了更高质量且时间一致性更好的视频。代码与模型见https://github.com/zhaoyuzhi/SVCNet。
引用
@article{arxiv.2303.11591,
title = {SVCNet: Scribble-based Video Colorization Network with Temporal Aggregation},
author = {Yuzhi Zhao and Lai-Man Po and Kangcheng Liu and Xuehui Wang and Wing-Yin Yu and Pengfei Xian and Yujia Zhang and Mengyang Liu},
journal= {arXiv preprint arXiv:2303.11591},
year = {2023}
}
备注
accepted by IEEE Transactions on Image Processing (TIP)