WISE: 基于示例学习的白盒图像风格化
计算机视觉与模式识别
2022-08-01 v1 图形学
摘要
基于图像的艺术化渲染可利用算法图像滤波合成多种表现风格。与基于深度学习的方法相比,这些基于启发式的滤波技术可处理高分辨率图像、具有可解释性,并可按多种设计方面进行参数化。然而,调整或扩展这些技术以产生新风格通常是繁琐且易错的,需要专家知识。我们提出一种缓解此问题的新范式:将算法图像滤波技术实现为可学习参数化以对齐特定参考风格的可微操作。为此,我们提出WISE,一个基于示例的图像处理系统,可在统一框架内处理多种风格化技术,如水彩、油画或卡通风格化。通过训练全局与局部滤波器参数化的参数预测网络,我们可同时使效果适配参考风格与图像内容(例如增强面部特征)。我们的方法可在风格迁移框架中优化,或以生成对抗设定学习用于图像到图像翻译。我们证明联合训练XDoG滤波器与用于后处理的CNN可达到与最先进的基于GAN的方法相当的结果。
引用
@article{arxiv.2207.14606,
title = {WISE: Whitebox Image Stylization by Example-based Learning},
author = {Winfried Lötzsch and Max Reimann and Martin Büssemeyer and Amir Semmo and Jürgen Döllner and Matthias Trapp},
journal= {arXiv preprint arXiv:2207.14606},
year = {2022}
}
备注
Accepted to ECCV