BiSTNet：语义图像先验引导的双向时序特征融合深度示例视频上色
计算机视觉与模式识别
2022-12-06 v1
摘要
如何有效利用参考示例的颜色并将其传播为上色每一帧，对于基于示例的视频上色至关重要。在本文中，我们提出一种有效的 BiSTNet，通过双向时序特征融合并在语义图像先验引导下利用参考示例的颜色来帮助视频上色。我们首先在深度特征空间中建立每一帧与参考示例之间的语义对应，以从参考示例中探索颜色信息。然后，为了更好地将参考示例的颜色传播到每一帧并避免来自示例的不准确匹配颜色，我们开发了一个简单而有效的双向时序特征融合模块，以更好地为每一帧上色。我们注意到视频中重要物体边界周围通常存在颜色溢出伪影。为克服该问题，我们进一步开发了一个混合专家块来提取语义信息以建模帧的物体边界，从而使语义图像先验能更好地引导上色过程以获得更好性能。此外，我们开发了一个多尺度循环块以由粗到细渐进地为帧上色。大量实验结果表明，所提出的 BiSTNet 在基准数据集上优于最先进的方法。我们的代码将在 \url{https://yyang181.github.io/BiSTNet/} 提供。
引用
@article{arxiv.2212.02268,
title = {BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization},
author = {Yixin Yang and Zhongzheng Peng and Xiaoyu Du and Zhulin Tao and Jinhui Tang and Jinshan Pan},
journal= {arXiv preprint arXiv:2212.02268},
year = {2022}
}
备注
Project website: \url{https://yyang181.github.io/BiSTNet/}