用于加速图像风格迁移的不相关特征编码
计算机视觉与模式识别
2018-07-05 v1
摘要
近期快速风格迁移方法使用预训练卷积神经网络作为特征编码器和感知损失网络。尽管该预训练网络用于生成对表示图像风格与内容有效的感受野响应，但其并非针对图像风格迁移优化，而是针对图像分类。此外，由于其通道间相关性，它还需要一个耗时且考虑相关性的特征对齐过程用于图像风格迁移。本文中，我们提出一种端到端学习方法，该方法为风格迁移目的优化编码器/解码器网络，并减轻了考虑通道间相关性的特征对齐复杂度。我们使用不相关损失（即不同编码器通道响应间的总相关系数）连同风格与内容损失来训练风格迁移网络。这使得编码器网络被训练为生成通道间不相关特征，并针对图像风格迁移任务优化，仅通过轻量且无关相关性的特征对齐过程即可保持图像风格质量。此外，我们的方法大幅减少了编码特征的冗余通道，从而带来网络结构的高效尺寸与更快的前向处理速度。我们的方法也可应用于级联网络方案以实现多尺度风格迁移，并允许用户通过内容-风格权衡参数控制风格强度。
引用
@article{arxiv.1807.01493,
title = {Uncorrelated Feature Encoding for Faster Image Style Transfer},
author = {Minseong Kim and Jongju Shin and Myung-Cheol Roh and Hyun-Chul Choi},
journal= {arXiv preprint arXiv:1807.01493},
year = {2018}
}