Scenimefy：基于半监督图像到图像翻译学习生成动漫场景
计算机视觉与模式识别
2023-08-25 v1 机器学习
摘要
从复杂真实世界图像自动高质量渲染动漫场景具有重要的实用价值。该任务的挑战在于场景的复杂性、动漫风格的独特特征，以及缺乏用于弥合域差距的高质量数据集。尽管已有 promising 的尝试，先前的工作仍难以在保持语义一致、明显风格化和精细细节方面取得令人满意的结果。在本研究中，我们提出 Scenimefy，一种解决这些挑战的新型半监督图像到图像翻译框架。我们的方法以结构一致的伪配对数据引导学习，简化了纯无监督设定。伪数据独特地源自利用 CLIP 等丰富模型先验的语义约束 StyleGAN。我们进一步应用分割引导的数据选择以获得高质量伪监督。引入块级对比风格损失以改善风格化与精细细节。此外，我们贡献了一个高分辨率动漫场景数据集以促进未来研究。我们的大量实验证明了我们的方法在感知质量和定量性能上相对于最先进基线的优越性。
引用
@article{arxiv.2308.12968,
title = {Scenimefy: Learning to Craft Anime Scene via Semi-Supervised Image-to-Image Translation},
author = {Yuxin Jiang and Liming Jiang and Shuai Yang and Chen Change Loy},
journal= {arXiv preprint arXiv:2308.12968},
year = {2023}
}
备注
ICCV 2023. The first two authors contributed equally. Code: https://github.com/Yuxinn-J/Scenimefy Project page: https://yuxinn-j.github.io/projects/Scenimefy.html