Harmonizer：学习执行白盒图像与视频调和
计算机视觉与模式识别
2022-07-21 v2
摘要
近期图像调和的工作将问题视为通过大型自编码器的逐像素图像翻译任务。它们在处理高分辨率图像时性能不佳且推理速度慢。本工作中，我们观察到调整基础图像滤波器（如亮度和对比度）的输入参数，足以让人类从合成图像生成真实图像。因此，我们将图像调和构建为图像级回归问题，以学习人类用于该任务的滤波器参数。我们提出一种用于图像调和的Harmonizer框架。与基于黑盒自编码器的先前方法不同，Harmonizer包含一个用于滤波器参数预测的神经网络与若干白盒滤波器（基于预测参数）用于图像调和。我们还引入级联回归器与动态损失策略，使Harmonizer更稳定精确地学习滤波器参数。由于我们的网络仅输出图像级参数且所用滤波器高效，Harmonizer比现有方法更轻量、更快速。综合实验表明Harmonizer显著超越现有方法，尤其在高分辨率输入下。最后，我们将Harmonizer应用于视频调和，在1080P分辨率下取得跨帧一致结果且达56 fps。代码与模型见：https://github.com/ZHKKKe/Harmonizer。
引用
@article{arxiv.2207.01322,
title = {Harmonizer: Learning to Perform White-Box Image and Video Harmonization},
author = {Zhanghan Ke and Chunyi Sun and Lei Zhu and Ke Xu and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:2207.01322},
year = {2022}
}