基于自动变形的无监督对比式照片到漫画翻译
计算机视觉与模式识别
2020-11-11 v1
摘要
照片到漫画翻译旨在合成通过素描、铅笔笔触或其他艺术绘画夸张化特征的漫画渲染图像。风格渲染和几何形变是照片到漫画翻译任务中最关键的方面。为同时兼顾二者，我们提出了一种无监督对比式照片到漫画翻译架构。考虑到现有方法中直观的伪影，我们提出一种对比风格损失用于风格渲染，以强制渲染照片风格与漫画的相似性，同时增强其与照片的差异。为以无配对/无监督方式获得夸张形变，我们提出形变预测模块(DPM)，在固定若干控制点的同时为每幅输入图像预测一组位移向量，随后通过薄板样条插值进行扭曲。该模型在无配对照片和漫画上训练，同时可通过输入照片或漫画实现双向合成。大量实验表明，与现有对比方法相比，所提模型能有效生成手绘风格漫画。
引用
@article{arxiv.2011.04965,
title = {Unsupervised Contrastive Photo-to-Caricature Translation based on Auto-distortion},
author = {Yuhe Ding and Xin Ma and Mandi Luo and Aihua Zheng and Ran He},
journal= {arXiv preprint arXiv:2011.04965},
year = {2020}
}