循环结构注意力引导用于深度超分辨率
计算机视觉与模式识别
2023-02-01 v1
摘要
图像引导是深度超分辨率的有效策略。通常,大多数现有方法使用手工算子从低分辨率深度图分解高频(HF)与低频(LF)成分,并通过将其与图像特征直接拼接来引导 HF 成分。然而,由于复杂深度图外观多样,手工设计算子常导致劣质 HF 图(如失真或结构缺失)。此外,直接拼接常造成弱引导,因为并非所有图像特征对 HF 图都有正向作用。本文提出一种循环结构注意力引导(RSAG)框架,由两个重要部分构成。首先,我们引入带多尺度滤波的深度对比网络用于自适应频域分离,其采用从大滤波到小滤波的对比网络计算像素对比以自适应预测高质量 HF。其次,不同于粗糙拼接引导,我们提出循环结构注意力块,迭代利用最新深度估计与图像特征联合选择清晰模式与边界,旨在为准确深度恢复提供细化引导。此外,我们融合 HF 图特征以增强分解 LF 图中的边缘结构。大量实验表明,我们的方法相比最先进深度超分辨率方法取得了更优性能。
引用
@article{arxiv.2301.13419,
title = {Recurrent Structure Attention Guidance for Depth Super-Resolution},
author = {Jiayi Yuan and Haobo Jiang and Xiang Li and Jianjun Qian and Jun Li and Jian Yang},
journal= {arXiv preprint arXiv:2301.13419},
year = {2023}
}
备注
Accepted by AAAI-2023