基于多通道相关性的任意视频风格迁移
计算机视觉与模式识别
2021-01-21 v2 图像与视频处理
摘要
视频风格迁移因其众多应用（如增强现实和动画制作）在 AI 社区中正受到越来越多的关注。与传统的图像风格迁移相比，在视频上执行此任务带来了新的挑战：如何有效地为任意指定风格生成令人满意的风格化结果，同时保持跨帧的时间连贯性。为此，我们提出了多通道相关网络（MCCNet），该网络可通过训练融合范例风格特征与输入内容特征以实现高效风格迁移，同时自然地保持输入视频的连贯性。具体而言，MCCNet 直接在风格和内容域的特征空间上工作，学习根据风格特征与内容特征的相似性对其进行重新排列和融合。MCC 生成的输出是包含所需风格模式的特征，可进一步解码为具有生动风格纹理的图像。此外，MCCNet 还被设计为显式地将特征与输入对齐，以确保输出保持内容结构和时间连续性。为了进一步提高 MCCNet 在复杂光照条件下的性能，我们还在训练期间引入了光照损失。定性和定量评估表明，MCCNet 在任意视频和图像风格迁移任务中均表现良好。
引用
@article{arxiv.2009.08003,
title = {Arbitrary Video Style Transfer via Multi-Channel Correlation},
author = {Yingying Deng and Fan Tang and Weiming Dong and Haibin Huang and Chongyang Ma and Changsheng Xu},
journal= {arXiv preprint arXiv:2009.08003},
year = {2021}
}