面向非配对图像到图像翻译的最大空间扰动一致性
计算机视觉与模式识别
2022-03-30 v2 图像与视频处理
摘要
非配对图像到图像翻译(I2I)是一个不适定问题，因为有无穷多个翻译函数可将源域分布映射到目标分布。因此，人们投入大量精力设计合适的约束，例如循环一致性(CycleGAN)、几何一致性(GCGAN)和基于对比学习的约束(CUTGAN)，以更好地界定该问题。然而，这些知名约束存在局限：(1) 它们对特定I2I任务要么过于严格要么过于薄弱；(2) 当源域与目标域间存在显著空间变化时，这些方法会导致内容失真。本文提出一种称为最大空间扰动一致性(MSPC)的通用正则化技术，其强制空间扰动函数(T)与翻译算子(G)可交换（即 TG = GT）。此外，我们引入两个对抗训练组件用于学习空间扰动函数。第一个使T与G竞争以实现最大扰动；第二个使G与T同判别器竞争，以对齐由物体尺寸变化、物体畸变、背景中断等引起的空间变化。我们的方法在大多数I2I基准上优于最先进方法。我们还引入了一个新基准，即正脸到侧脸数据集，以凸显I2I在实际应用中的潜在挑战。最后我们进行消融实验，以研究所提方法对空间扰动严重程度的敏感性及其在分布对齐上的有效性。
引用
@article{arxiv.2203.12707,
title = {Maximum Spatial Perturbation Consistency for Unpaired Image-to-Image Translation},
author = {Yanwu Xu and Shaoan Xie and Wenhao Wu and Kun Zhang and Mingming Gong and Kayhan Batmanghelich},
journal= {arXiv preprint arXiv:2203.12707},
year = {2022}
}
备注
CVPR 2022 accepted paper