结构流引导网络用于真实深度超分辨率
计算机视觉与模式识别
2023-02-01 v1
摘要
真实深度超分辨率(DSR)不同于合成设定,由于真实世界低分辨率(LR)深度图自然退化引起的结构失真与边缘噪声,是一项具有挑战性的任务。这些缺陷导致深度图与 RGB 引导之间存在显著结构不一致,可能混淆 RGB 结构引导从而降级 DSR 质量。本文提出一种新颖的结构流引导 DSR 框架,其中学习跨模态流图以引导 RGB 结构信息迁移,实现精确深度上采样。具体而言,我们的框架由跨模态流引导上采样网络(CFUNet)与流增强金字塔边缘注意力网络(PEANet)组成。CFUNet 包含结合几何与语义相关性的三边自注意力模块,用于可靠跨模态流学习。随后,习得的流图与网格采样机制结合,用于粗粒度高分辨率(HR)深度预测。PEANet 旨在将习得的流图作为边缘注意力整合进金字塔网络,以分层学习聚焦边缘的引导特征用于深度边缘细化。在真实与合成 DSR 数据集上的大量实验验证,我们的方法相比最先进方法取得了优异性能。
引用
@article{arxiv.2301.13416,
title = {Structure Flow-Guided Network for Real Depth Super-Resolution},
author = {Jiayi Yuan and Haobo Jiang and Xiang Li and Jianjun Qian and Jun Li and Jian Yang},
journal= {arXiv preprint arXiv:2301.13416},
year = {2023}
}
备注
Accepted by AAAI-2023