调和的无配对图像到图像翻译
计算机视觉与模式识别
2019-02-27 v1
摘要
近期无配对图像到图像翻译的方向一方面令人振奋，因其减轻了获取标注密集的像素到像素监督的重负，但另一方面由于伪影与退化变换的存在而不尽如人意。本文中，我们从流形视角看待该问题，通过在样本图上引入平滑项以获得调和函数，从而在翻译过程中强制一致映射。我们开发了 HarmonicGAN 来学习源域与目标域间的双向翻译。在相似性一致性的帮助下，样本固有的自一致性属性可得以维持。我们利用了定义在包括直方图与 CNN 在内的两类特征上的距离度量。在与 CycleGAN 相同的问题设定下，无需额外人工输入且仅以微小训练时间代价，HarmonicGAN 展示了相较最先进方法的显著定性与定量改进，以及更好的可解释性。我们在包括医学成像、物体变形与语义标注的若干应用中展示了实验结果。我们在所有任务上均优于对比方法，尤其对于一项医学成像任务，我们的方法使 CycleGAN 从失败转为成功，将均方误差减半，并生成出放射科医生在 95% 的案例中偏好于对比方法的图像。
引用
@article{arxiv.1902.09727,
title = {Harmonic Unpaired Image-to-image Translation},
author = {Rui Zhang and Tomas Pfister and Jia Li},
journal= {arXiv preprint arXiv:1902.09727},
year = {2019}
}