面向草图到照片合成的对立开放域自适应
计算机视觉与模式识别
2021-12-23 v2 人工智能
摘要
本文中，我们探索开放域草图到照片翻译，其旨在利用类别标签从手绘草图合成真实照片，即便该类草图在训练数据中缺失。由于训练监督的缺乏以及手绘草图与照片域间较大的几何畸变，该任务具有挑战性。为从照片合成缺失的手绘草图，我们提出一个联合学习草图到照片与照片到草图生成的框架。然而，由虚假草图训练的生成器在处理缺失类草图时可能因合成草图与真实草图间的域差距而导致不尽人意的结果。为缓解此问题，我们进一步提出一种简单而有效的开放域采样与优化策略，以“欺骗”生成器将虚假草图视为真实草图。我们的方法利用域内数据上学得的草图到照片与照片到草图映射，并将其泛化至开放域类别。我们在 Scribble 与 SketchyCOCO 数据集上验证方法。与近期竞争方法相比，我们的方法在合成真实色彩、纹理以及维持各类开放域草图的几何构成方面展现出令人印象深刻的結果。代码见 https://github.com/Mukosame/AODA
引用
@article{arxiv.2104.05703,
title = {Adversarial Open Domain Adaptation for Sketch-to-Photo Synthesis},
author = {Xiaoyu Xiang and Ding Liu and Xiao Yang and Yiheng Zhu and Xiaohui Shen and Jan P. Allebach},
journal= {arXiv preprint arXiv:2104.05703},
year = {2021}
}
备注
Accepted by WACV 2022