中文

用于色彩风格迁移的神经预设

计算机视觉与模式识别 2023-03-27 v2 人工智能 机器学习

摘要

本文中,我们提出一种神经预设(Neural Preset)技术,以解决现有色彩风格迁移方法的局限,包括视觉伪影、巨大内存需求以及风格切换速度慢。我们的方法基于两个核心设计。首先,我们提出确定性神经色彩映射(DNCM),通过图像自适应色彩映射矩阵对每个像素一致地操作,避免伪影并以小内存占用支持高分辨率输入。其次,我们将任务划分为色彩归一化与风格化,由此开发两阶段流水线,可通过将色彩风格提取为预设并在归一化输入图像上复用,实现高效的风格切换。由于成对数据集的缺失,我们描述了如何通过自监督策略训练神经预设。综合评估展示了神经预设相较现有方法的多种优势。值得注意的是,神经预设能够实现无伪影的实时稳定 4K 色彩风格迁移。此外,我们展示训练后的模型可自然支持多种应用而无需微调,包括低光图像增强、水下图像校正、图像去雾与图像调和。项目页面与演示:https://zhkkke.github.io/NeuralPreset。

关键词

引用

@article{arxiv.2303.13511,
  title  = {Neural Preset for Color Style Transfer},
  author = {Zhanghan Ke and Yuhao Liu and Lei Zhu and Nanxuan Zhao and Rynson W. H. Lau},
  journal= {arXiv preprint arXiv:2303.13511},
  year   = {2023}
}

备注

Project page with demos: https://zhkkke.github.io/NeuralPreset . Artifact-free real-time 4K color style transfer via AI-generated presets. CVPR 2023