面向图像到图像翻译的在线样本微调

现有在深度卷积神经网络（CNNs）中解决基于样本的图像到图像翻译的技术，通常需要在特定领域与特定任务的基准上优化网络参数以进行训练阶段，因而适用性与泛化能力有限。本文中，我们首次提出一种新颖框架，通过给定输入图像对的在线优化来解决基于样本的翻译，称为在线样本微调（OEFT），其中我们将现成且通用的网络微调到输入图像对本身。我们设计了两个子网络，即对应微调与多重GAN反演，并以预训练参数为起点，利用定义良好的损失函数优化这些网络参数与潜码。我们的框架不需要离线训练阶段——这一直是现有方法的主要挑战——而仅需预训练网络以支撑在线优化。实验结果证明，我们的框架对未见图像对具有泛化能力，且明显优于需要密集训练阶段的当前最优方法。