风格分光镜：通过傅里叶分析提升可解释性与可控性

通用风格迁移（UST）将任意参考图像中的风格注入内容图像。现有方法虽取得诸多实用成功，却无法解释实验观察，包括不同UST算法在保持内容图像空间结构上的表现差异。此外，这些方法局限于对风格化繁琐的全局控制，因而需要额外的空间掩码以实现期望的风格化。本工作中，我们对UST的通用框架进行了系统的傅里叶分析。我们给出了该框架在频域的等价形式。该形式表明，除零频率分量外，现有算法对特征图的所有频率分量和像素一视同仁。我们分别将傅里叶幅度与相位同风格迁移中的Gram矩阵和内容重建损失联系起来。基于此种等价与联系，我们得以用傅里叶相位解释算法间不同的结构保持行为。鉴于所得解释，我们提出两种用于结构保持与期望风格化的实际操作。定性与定量实验均表明我们的方法相较最先进方法具有竞争力。我们还通过实验证明了（1）上述等价性，（2）基于傅里叶幅度与相位的可解释性，以及（3）与频率分量相关的可控性。