照片间的滤镜风格迁移
计算机视觉与模式识别
2020-07-17 v1 机器学习
图像与视频处理
摘要
过去几年中，图像到图像的风格迁移已上升至神经图像处理的前沿。虽然传统方法在图像间的颜色与纹理迁移等多种任务中取得了成功，但均无法有效处理用户通过 Instagram 等各类平台所施加的自定义滤镜效果。本文提出一种新的风格迁移概念：滤镜风格迁移（Filter Style Transfer, FST）。与传统风格迁移不同，新技术 FST 能够从一张经过滤镜处理的风格图像中提取并迁移自定义滤镜风格到内容图像。FST 首先通过图像到图像的转换从滤镜参考图中推断原始图像，然后从二者差异中估计滤镜参数。为解决从参考图重建原始图像这一病态问题，我们将图像中每个像素的颜色表示为类均值与类偏差。此外，为处理类内颜色变化，我们提出一种基于不确定性的加权最小二乘法用于恢复原始图像。据我们所知，FST 是首个能够在移动设备上于 2 毫秒内、无任何文本上下文损失地在 FHD 图像间迁移自定义滤镜效果的风格迁移方法。
引用
@article{arxiv.2007.07925,
title = {Filter Style Transfer between Photos},
author = {Jonghwa Yim and Jisung Yoo and Won-joon Do and Beomsu Kim and Jihwan Choe},
journal= {arXiv preprint arXiv:2007.07925},
year = {2020}
}
备注
ECCV (Spotlight) 2020