基于神经架构搜索的超快逼真风格迁移
计算机视觉与模式识别
2020-06-23 v2 机器学习
图像与视频处理
摘要
逼真风格迁移的关键挑战在于，算法应忠实将参考照片的风格迁移到内容照片，同时生成图像应看起来像相机所拍摄。尽管已有若干逼真风格迁移算法被提出，它们需要依赖后处理和/或预处理使生成图像看起来逼真。若禁用这些额外处理，这些算法在细节保持和逼真度方面将无法产生合理的逼真风格化。本工作中，我们针对这些问题提出了一种有效解决方案。我们的方法包含一个构建步骤（C-step）以搭建逼真风格化网络和一个剪枝步骤（P-step）用于加速。在 C-step 中，我们基于精心设计的预分析提出名为 PhotoNet 的密集自编码器。PhotoNet 集成了特征聚合模块（BFA）和实例归一化跳跃连接（INSL）。为生成忠实风格化，我们在解码器和 INSL 中引入多个风格迁移模块。PhotoNet 在效率和效果上均显著优于现有算法。在 P-step 中，我们采用神经架构搜索方法加速 PhotoNet。我们提出了一种以师生学习方式进行的自动网络剪枝框架用于逼真风格化。搜索得到的名为 PhotoNAS 的网络架构相比 PhotoNet 实现了显著加速，同时几乎保持风格化效果不变。我们在图像和视频迁移上进行了大量实验。结果表明，与现有最先进方法相比，我们的方法能产生更优结果，同时实现 20-30 倍加速。值得注意的是，所提算法无需任何预处理或后处理即取得更好性能。
引用
@article{arxiv.1912.02398,
title = {Ultrafast Photorealistic Style Transfer via Neural Architecture Search},
author = {Jie An and Haoyi Xiong and Jun Huan and Jiebo Luo},
journal= {arXiv preprint arXiv:1912.02398},
year = {2020}
}