Neural Crossbreed：基于神经网络的图像变形

我们提出 Neural Crossbreed，一种前馈神经网络，可在潜空间中学习输入图像的语义变化以产生变形效果。由于网络学习的是语义变化，因此无需用户指定显式对应关系即可生成一系列有意义的中间图像。此外，语义变化学习使得在包含具有显著不同姿态或相机视角的物体的图像之间进行变形成为可能。进而，正如传统变形技术那样，我们的变形网络可通过解耦内容与风格迁移来分别处理形状与外观过渡，从而具备丰富的可用性。我们使用预训练的 BigGAN 为变形准备训练数据集，该模型通过在预期变形值处插值两个潜向量来生成中间图像。这是首次尝试利用预训练生成模型来学习语义变换以解决图像变形问题。实验表明，Neural Crossbreed 能生成高质量变形图像，克服了传统方法相关的各种局限。此外，Neural Crossbreed 可进一步扩展至多种应用，如多图像变形、外观迁移与视频帧插值。