VCGAN：基于混合生成对抗网络的视频着色
计算机视觉与模式识别
2023-05-09 v2 多媒体
摘要
我们提出了一种混合循环式基于混合生成对抗网络的视频着色方法（VCGAN），这是一种利用端到端学习改进视频着色的方案。VCGAN解决了视频着色领域两个普遍存在的问题：时间一致性，以及将着色网络与精炼网络统一为单一架构。为提升着色质量与时空一致性，VCGAN生成器的主干由另外两个网络辅助，即全局特征提取器与占位符特征提取器。全局特征提取器对灰度输入的全局语义进行编码以提升着色质量，而占位符特征提取器充当反馈连接，对前一着色帧的语义进行编码以维持时空一致性。若将占位符特征提取器的输入改为灰度输入，该混合VCGAN亦具备执行图像着色的潜力。为改善远端帧的一致性，我们提出了一种稠密长期损失，以平滑任意两帧远端帧之间的时间差异。在着色损失与时间损失联合训练下，VCGAN在色彩鲜艳度与视频连续性之间取得了良好平衡。实验结果表明，相较于现有方法，VCGAN生成了更高质量且时间上更具一致性的彩色视频。
引用
@article{arxiv.2104.12357,
title = {VCGAN: Video Colorization with Hybrid Generative Adversarial Network},
author = {Yuzhi Zhao and Lai-Man Po and Wing-Yin Yu and Yasar Abbas Ur Rehman and Mengyang Liu and Yujia Zhang and Weifeng Ou},
journal= {arXiv preprint arXiv:2104.12357},
year = {2023}
}
备注
accepted by IEEE Transactions on Multimedia (TMM)