用于逼真视频风格迁移的 ColoristaNet
计算机视觉与模式识别
2022-12-22 v2 机器学习
图像与视频处理
摘要
逼真风格迁移旨在将图像的艺术风格迁移到输入图像或视频上，同时保持逼真感。本文认为，现有算法中的汇总统计量匹配方案导致了不逼真的风格化。为避免使用流行的 Gram 损失，我们提出了一种自监督风格迁移框架，该框架包含风格去除部分和风格恢复部分。风格去除网络去除原始图像风格，风格恢复网络以有监督的方式恢复图像风格。同时，为了解决当前特征变换方法中的问题，我们提出了解耦实例归一化，将特征变换分解为风格白化和重新风格化。该方法在 ColoristaNet 中效果良好，能够在保持逼真感的同时高效迁移图像风格。为确保时间相干性，我们还结合了光流方法和 ConvLSTM 来嵌入上下文信息。实验表明，与 SOTA 算法相比，ColoristaNet 能够实现更好的风格化效果。
引用
@article{arxiv.2212.09247,
title = {ColoristaNet for Photorealistic Video Style Transfer},
author = {Xiaowen Qiu and Ruize Xu and Boan He and Yingtao Zhang and Wenqiang Zhang and Weifeng Ge},
journal= {arXiv preprint arXiv:2212.09247},
year = {2022}
}
备注
30 pages, 29 figures