使用自适应实例归一化的实时任意风格迁移
计算机视觉与模式识别
2017-08-01 v2
摘要
Gatys等人最近提出了一种神经算法，将内容图像以另一图像的风格渲染，实现了所谓的风格迁移。然而，他们的框架需要缓慢的迭代优化过程，限制了其实际应用。已有研究提出使用前馈神经网络来加速神经风格迁移的快速近似方法。不幸的是，速度的提升是有代价的：网络通常绑定于一组固定的风格，无法适应任意的新风格。在本文中，我们提出了一种简单而有效的方法，首次实现了实时的任意风格迁移。我们方法的核心是一种新颖的自适应实例归一化（AdaIN）层，它将内容特征与风格特征的均值和方差对齐。我们的方法达到了与现有最快方法相当的速度，且不受预定义风格集的限制。此外，我们的方法允许灵活的用户控制，如内容-风格权衡、风格插值、颜色与空间控制，所有这些都使用单个前馈神经网络。
引用
@article{arxiv.1703.06868,
title = {Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization},
author = {Xun Huang and Serge Belongie},
journal= {arXiv preprint arXiv:1703.06868},
year = {2017}
}
备注
ICCV 2017. Code is available: https://github.com/xunhuang1995/AdaIN-style