NijiGAN：基于对比半监督学习和神经普通微分方程的将你看见的东西转化为动漫
计算机视觉与模式识别
2024-12-30 v1
摘要
生成式AI已深刻改变了动画产业。针对将真实图像转换为动漫的图像到图像翻译，已开发出多种模型，尤其聚焦于通过无配对翻译将真实世界图像转换为动漫。Scenimefy 这种方法利用对比学习，实现了对动漫场景翻译的高保真度，通过半监督训练解决了受限配对数据的问题，但其局限性在于依赖于来自动漫领域中精调StyleGAN的配对数据，常产生低质量数据集。此外，Scenimefy的高参数架构为计算优化提供了机会。本研究引入NijiGAN，一种新型模型，集成了神经普通微分方程 (NeuralODE)，后者在连续转换建模方面具有独特优势，优于传统残差网络。NijiGAN成功地将真实场景转换为高保真度动漫视觉效果，仅使用Scenimefy的一半参数。它采用Scenimefy生成的伪配对数据进行监督训练，消除了对低质量配对数据的依赖，提高了训练过程。我们的全面评估包括消融研究、定性和定量分析，将NijiGAN与类似模型进行了比较。测试结果表明，NijiGAN产生的图像质量优于AnimeGAN，Mean Opinion Score (MOS) 为2.192，优于AnimeGAN的MOS为2.160。此外，我们的模型实现了58.71的Frechet Inception Distance (FID) 分数，优于Scenimefy的FID得分60.32。这表明NijiGAN在已知最先进的模型中（尤其是基线模型Scenimefy）方面实现了具竞争力的性能。
引用
@article{arxiv.2412.19455,
title = {NijiGAN: Transform What You See into Anime with Contrastive Semi-Supervised Learning and Neural Ordinary Differential Equations},
author = {Kevin Putra Santoso and Anny Yuniarti and Dwiyasa Nakula and Dimas Prihady Setyawan and Adam Haidar Azizi and Jeany Aurellia P. Dewati and Farah Dhia Fadhila and Maria T. Elvara Bumbungan},
journal= {arXiv preprint arXiv:2412.19455},
year = {2024}
}