具有多路径一致性正则化的图像到图像翻译

跨不同域的图像翻译在机器学习和计算机视觉领域均引起了广泛关注。以从源域 $\mathcal{D}_s$ 到目标域 $\mathcal{D}_t$ 的翻译为例，现有算法主要依赖两类损失进行训练：一是判别损失，用于区分模型生成的图像与自然图像；二是重建损失，用于度量原始图像与经过 $\mathcal{D}_s\to\mathcal{D}_t\to\mathcal{D}_s$ 翻译的重建版本之间的差异。本工作中，我们引入一类新损失，即多路径一致性损失，其通过以 $\mathcal{D}_a$ 作为辅助域来评估直接翻译 $\mathcal{D}_s\to\mathcal{D}_t$ 与间接翻译 $\mathcal{D}_s\to\mathcal{D}_a\to\mathcal{D}_t$ 之间的差异，以正则化训练。对于专注于建立任意两域间翻译模型的多域翻译（至少三个域），在每次训练迭代中，我们随机选取三个域，分别将其设为源域、辅助域和目标域，构建多路径一致性损失并优化网络。对于双域翻译，我们需要引入额外的辅助域并构造多路径一致性损失。我们进行了多种实验以证明所提方法的有效性，包括人脸到人脸翻译、画作到照片翻译以及去雨/去噪翻译。