用于平衡内容与风格的两流全卷积网络风格迁移

风格迁移是将给定图像内容以给定风格渲染,在计算机视觉基础研究与工业应用中均具重要作用。随着基于深度学习方法的成功,该问题近期被重新提出,但由于在保留内容与忠实渲染风格之间存在权衡,仍是一项困难任务。事实上,内容与风格的平衡程度对评价风格化图像质量至关重要。本文提出一种端到端的两流全卷积网络(FCNs),旨在平衡渲染图像中内容与风格的贡献。我们提出的网络由编码器和解码器部分组成。编码器部分使用一个内容 FCN 和一个风格 FCN,两个 FCN 具有特征注入并独立训练,以分别保留语义内容和学习忠实的风格表示。语义内容特征与风格表示特征随后被自适应拼接并送入解码器以生成风格迁移(风格化)图像。为训练所提网络,我们采用损失网络即预训练的 VGG-16 来计算内容损失和风格损失,二者均被有效用于特征注入及特征拼接。大量实验表明,相比最先进方法,我们所提模型生成的内容与风格更为平衡的风格化图像。此外,我们所提网络在速度上具有高效性。