基于示例的视频着色与长时空依赖建模
计算机视觉与模式识别
2023-03-28 v1
摘要
基于示例的视频着色是老电影修复等应用中的一项重要技术。尽管近期方法在静态场景或规则运动场景中表现良好，但由于其在空间和时间上建模长期依赖的能力较弱，在运动场景中往往缺乏鲁棒性，导致颜色褪色、颜色不连续或其他伪影。为解决该问题，我们提出了一种具有长时空依赖的基于示例的视频着色框架。为增强长空间依赖，设计了并行化 CNN-Transformer 模块和双头非局部操作。所提出的 CNN-Transformer 模块能更好地将长空间依赖与局部纹理和结构特征相结合，双头非局部操作进一步提升了增强特征的性能。而对于长时依赖增强，我们进一步引入了新颖的关联子网络。该关联子网络在相邻帧块间传播运动信息，有助于保持时间连续性。实验表明，我们的模型在定量和定性上均优于近期最先进的方法。此外，我们的模型能生成更丰富色彩、更真实且更稳定的结果，尤其适用于物体发生剧烈且不规则变化的场景。
引用
@article{arxiv.2303.15081,
title = {Exemplar-based Video Colorization with Long-term Spatiotemporal Dependency},
author = {Siqi Chen and Xueming Li and Xianlin Zhang and Mingdao Wang and Yu Zhang and Jiatong Han and Yue Zhang},
journal= {arXiv preprint arXiv:2303.15081},
year = {2023}
}