基于零通道剪枝的高分辨率图像实时通用风格迁移
计算机视觉与模式识别
2020-06-24 v2 图像与视频处理
摘要
提取有效的深度特征来表示内容与风格信息是通用风格迁移的关键。大多数现有算法使用 VGG19 作为特征提取器，这带来了高昂的计算成本，并阻碍了高分辨率图像上的实时风格迁移。在本工作中，我们提出了一种轻量级的替代架构——ArtNet，它基于 GoogLeNet，并随后通过一种专为风格迁移方法设计的新型通道剪枝方法——零通道剪枝（Zero-channel Pruning）进行剪枝。此外，我们提出了一种理论可靠的夹心交换变换（S2）模块来迁移深度特征，该模块能够创造出令人愉悦的整体外观与良好的局部纹理，并具备改进的内容保持能力。通过使用 ArtNet 和 S2，我们的方法比最先进的方法快 2.3 至 107.4 倍。综合实验表明，ArtNet 能够同时实现高分辨率图像上的通用、实时且高质量的风格迁移（在 512×512 图像上达到 68.03 FPS）。
引用
@article{arxiv.2006.09029,
title = {Real-time Universal Style Transfer on High-resolution Images via Zero-channel Pruning},
author = {Jie An and Tao Li and Haozhi Huang and Li Shen and Xuan Wang and Yongyi Tang and Jinwen Ma and Wei Liu and Jiebo Luo},
journal= {arXiv preprint arXiv:2006.09029},
year = {2020}
}