通用风格迁移的闭式解
计算机视觉与模式识别
2019-08-15 v2 图像与视频处理
摘要
通用风格迁移试图显式地最小化特征空间中的损失，因此不需要在任何预定义风格上训练。它通常使用 VGG 网络的不同层作为编码器，并训练多个解码器将特征反演为图像。因此，风格迁移的效果是通过特征变换实现的。尽管已有大量方法被提出，但对特征变换的理论分析仍然缺失。在本文中，我们首先通过将特征变换视为最优传输问题，提出了一种新颖的解释。随后，我们展示了我们的公式与先前工作（如自适应实例归一化（Adaptive Instance Normalization, AdaIN）和白化与着色变换（Whitening and Coloring Transform, WCT））之间的关系。最后，我们在公式中额外考虑 Gatys 的内容损失，推导出一个名为最优风格迁移（Optimal Style Transfer, OST）的闭式解。相比之下，我们的解能更好地保留结构并取得视觉上令人愉悦的结果。它简单而有效，我们从定量和定性两方面展示了其优势。此外，我们希望我们的理论分析能启发未来在神经风格迁移方面的工作。代码见 https://github.com/lu-m13/OptimalStyleTransfer。
引用
@article{arxiv.1906.00668,
title = {A Closed-form Solution to Universal Style Transfer},
author = {Ming Lu and Hao Zhao and Anbang Yao and Yurong Chen and Feng Xu and Li Zhang},
journal= {arXiv preprint arXiv:1906.00668},
year = {2019}
}
备注
Accepted to ICCV 2019. Code is available at https://github.com/lu-m13/OptimalStyleTransfer