StyleFlow：用于内容固定图像到图像翻译
计算机视觉与模式识别
2022-07-06 v1 机器学习
图像与视频处理
摘要
图像到图像（I2I）翻译是计算机视觉中一个具有挑战性的课题。我们将该问题划分为三项任务：强约束翻译、常约束翻译和弱约束翻译。此处约束表示原始图像中内容或语义信息被保留的程度。尽管以往方法在弱约束任务中取得了良好性能，但它们未能在强约束和常约束任务（包括真实感合成、风格迁移和着色等）中充分保留内容。为实现强约束和常约束任务中的内容保留迁移，我们提出StyleFlow，一种由归一化流和新型风格感知归一化（SAN）模块组成的全新I2I翻译模型。借助可逆网络结构，StyleFlow在前向传播中首先将输入图像投影到深度特征空间，而反向传播利用SAN模块执行内容固定的特征变换，然后投影回图像空间。我们的模型支持图像引导翻译和多模态合成。我们在多个I2I翻译基准上评估了模型，结果表明所提模型在强约束和常约束任务中均优于以往方法。
引用
@article{arxiv.2207.01909,
title = {StyleFlow For Content-Fixed Image to Image Translation},
author = {Weichen Fan and Jinghuan Chen and Jiabin Ma and Jun Hou and Shuai Yi},
journal= {arXiv preprint arXiv:2207.01909},
year = {2022}
}