ReCoNet:实时连贯视频风格迁移网络
计算机视觉与模式识别
2018-11-02 v2
摘要
基于卷积神经网络的图像风格迁移模型在应用于视频时通常存在较高的时序不一致性。已有一些视频风格迁移模型被提出以改善时序一致性,但它们无法同时保证快速处理速度、良好的感知风格质量与高时序一致性。本文提出一种新颖的实时视频风格迁移模型 ReCoNet,其能够在保持良好感知风格的同时生成时序连贯的风格迁移视频。我们在输出层的时序损失中引入一种新颖的亮度扭曲约束,以捕捉连续帧间的亮度变化并提升在光照影响下的风格化稳定性。我们还提出一种新颖的特征图级时序损失,以进一步增强可追踪物体的时序一致性。实验结果表明,我们的模型在定性与定量上均展现出优异的性能。
引用
@article{arxiv.1807.01197,
title = {ReCoNet: Real-time Coherent Video Style Transfer Network},
author = {Chang Gao and Derun Gu and Fangjun Zhang and Yizhou Yu},
journal= {arXiv preprint arXiv:1807.01197},
year = {2018}
}
备注
16 pages, 7 figures. For supplementary material, see https://www.dropbox.com/s/go6f7uopjjsala7/ReCoNet%20Supplementary%20Material.pdf?dl=0