COCO-FUNIT:基于内容条件风格编码器的少样本无监督图像翻译
计算机视觉与模式识别
2020-07-30 v3
摘要
无监督图像到图像翻译旨在学习给定域中图像到不同域中类似图像的映射,而无需该映射的显式监督。少样本无监督图像到图像翻译进一步尝试通过在推断时提供未见域的示例图像,将模型泛化到未见域。尽管取得了显著成功,现有的少样本图像到图像翻译模型难以在模仿未见域外观的同时保持输入图像的结构,我们称之为内容丢失问题。当输入与示例图像中物体的姿态差异很大时,此问题尤为严重。为解决该问题,我们提出一种新的少样本图像翻译模型 COCO-FUNIT,其计算以输入图像为条件的示例图像风格嵌入以及一个称为常量风格偏置的新模块。通过与最先进方法的广泛实验对比验证,我们的模型在解决内容丢失问题上表现出有效性。有关代码和预训练模型,请访问 https://nvlabs.github.io/COCO-FUNIT/ 。
引用
@article{arxiv.2007.07431,
title = {COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content Conditioned Style Encoder},
author = {Kuniaki Saito and Kate Saenko and Ming-Yu Liu},
journal= {arXiv preprint arXiv:2007.07431},
year = {2020}
}
备注
The paper will be presented at the EUROPEAN Conference on Computer Vision (ECCV) 2020