面向引导深度超分辨率的联合隐式图像函数
计算机视觉与模式识别
2021-07-26 v2
摘要
引导深度超分辨率是一项实用任务，其中低分辨率且含噪的深度图在高分辨率 RGB 引导图像的帮助下被恢复为高分辨率版本。现有方法通常将该任务视为依赖设计显式滤波器和目标函数的广义引导滤波问题，或视为通过深度神经网络直接预测目标图像的密集回归问题。这些方法要么受限于模型能力，要么受限于可解释性。受隐式神经表示近期进展的启发，我们提出将引导超分辨率表述为神经隐式图像插值问题，采用通用图像插值的形式，但使用一种新颖的联合隐式图像函数（JIIF）表示来同时学习插值权重和数值。JIIF 用从输入图像和引导图像中提取的空间分布局部隐码表示目标图像域，并在一个统一的深度隐式函数中利用图注意力机制同时学习插值权重。我们在引导深度超分辨率任务上展示了 JIIF 表示的有效性，在三个公开基准上显著优于最先进的方法。代码见 \url{https://git.io/JC2sU}。
引用
@article{arxiv.2107.08717,
title = {Joint Implicit Image Function for Guided Depth Super-Resolution},
author = {Jiaxiang Tang and Xiaokang Chen and Gang Zeng},
journal= {arXiv preprint arXiv:2107.08717},
year = {2021}
}
备注
Accepted by ACM MM 2021