面向高效高分辨率图像调和的空间分离曲线渲染网络
计算机视觉与模式识别
2021-12-01 v4
摘要
图像调和旨在针对特定背景修改合成区域的颜色。以往工作使用 UNet 系列结构将此任务建模为逐像素的图像到图像翻译。然而，模型规模与计算成本限制了它们在边缘设备和高分辨率图像上的能力。为此，我们首次提出一种新颖的空间分离曲线渲染网络（SCRNet），用于高效且高分辨率的图像调和。在 SCRNet 中，我们首先分别从掩码前景与背景的缩略图中提取空间分离嵌入。然后，我们设计了一个曲线渲染模块（CRM），利用线性层学习并组合空间特定知识，以生成前景区域中分段曲线映射的参数。最后，我们使用学到的颜色曲线直接渲染原始高分辨率图像。此外，我们还通过级联 CRM（Cascaded-CRM）与语义 CRM（Semantic-CRM）分别对提出的框架进行了级联细化与语义引导两方面的扩展。实验表明，与以往方法相比，所提方法减少了超过 90% 的参数，却仍在合成 iHarmony4 与真实世界 DIH 测试集上取得了最先进的性能。而且，我们的方法能够在 的更高分辨率图像上以 0.1 秒流畅运行，且所需 GPU 计算资源远少于所有现有方法。代码将发布于 \url{http://github.com/stefanLeong/S2CRNet}。
引用
@article{arxiv.2109.05750,
title = {Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization},
author = {Jingtang Liang and Xiaodong Cun and Chi-Man Pun and Jue Wang},
journal= {arXiv preprint arXiv:2109.05750},
year = {2021}
}