基于连续图像表示的稠密像素到像素调和
计算机视觉与模式识别
2023-12-01 v2
摘要
高分辨率（HR）图像调和在图像合成与图像编辑等现实应用中具有重要意义。然而，由于高内存开销，现有稠密像素到像素调和方法主要聚焦于处理低分辨率（LR）图像。一些近期工作诉诸结合颜色到颜色变换，但要么受限于特定分辨率，要么严重依赖手工设计的图像滤波器。在本工作中，我们探索利用隐式神经表示（INR）并提出一种基于隐式神经网络的新型图像调和方法（HINet），据我们所知，这是首个无需任何手工滤波器设计即可应用于 HR 图像的稠密像素到像素方法。受 Retinex 理论启发，我们将多层感知机（MLP）解耦为两部分，分别捕捉合成图像的内容与环境。我们设计了低分辨率图像先验（LRIP）网络以缓解边界不一致问题，并提出了训练与推理过程的新设计。大量实验证明了我们的方法相较于 SOTA 方法的有效性。此外，我们探索了所提方法一些有趣且实用的应用。我们的代码可在 https://github.com/WindVChen/INR-Harmonization 获取。
引用
@article{arxiv.2303.01681,
title = {Dense Pixel-to-Pixel Harmonization via Continuous Image Representation},
author = {Jianqi Chen and Yilan Zhang and Zhengxia Zou and Keyan Chen and Zhenwei Shi},
journal= {arXiv preprint arXiv:2303.01681},
year = {2023}
}
备注
Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)