用于实时风格迁移的多风格生成网络
计算机视觉与模式识别
2017-11-20 v2
摘要
尽管风格迁移取得了快速进展，现有使用的前馈生成网络进行多风格或任意风格迁移的方法通常在图像质量和模型灵活性上有所折衷。我们发现使用一维风格嵌入来实现全面的风格建模从根本上说是困难的。受此启发，我们引入了 CoMatch 层，该层学习将二阶特征统计与目标风格相匹配。借助 CoMatch 层，我们构建了多风格生成网络 (MSG-Net)，实现了实时性能。我们还采用了一种特定的上采样卷积策略，以避免由分数步长卷积引起的棋盘伪影。我们的方法相较于最先进的方法取得了更优的图像质量。所提出的 MSG-Net 作为一种用于实时风格迁移的通用方法，与大多数现有技术兼容，包括内容-风格插值、保色、空间控制和笔触大小控制。MSG-Net 首个以纯前馈方式实现了风格迁移的实时笔触大小控制。我们在 Torch、PyTorch 和 MXNet 框架上的实现及预训练模型将公开可用。
引用
@article{arxiv.1703.06953,
title = {Multi-style Generative Network for Real-time Transfer},
author = {Hang Zhang and Kristin Dana},
journal= {arXiv preprint arXiv:1703.06953},
year = {2017}
}