细节决定成败：通过重新思考跨模态对齐与聚合提升引导式深度超分辨率
计算机视觉与模式识别
2024-01-17 v1
摘要
引导式深度超分辨率（GDSR）涉及利用同一场景的高分辨率 RGB 图像恢复缺失的深度细节。以往的方法难以处理多模态输入的异质性和互补性，并忽略了模态不对齐、几何不对齐和特征选择等问题。在本研究中，我们重新思考了 GDSR 网络中的一些关键组件，并提出了一种简单而有效的动态双重对齐与聚合网络（D2A2）。D2A2 主要由两部分组成：1) 一个动态双重对齐模块，通过可学习的域对齐块适应性地缓解模态不对齐，并通过学习偏移量在几何上对齐跨模态特征；2) 一个掩码到像素特征聚合模块，利用门控机制和像素注意力从 RGB 特征中过滤掉无关的纹理噪声，并将有用特征与深度特征结合。通过结合 RGB 和深度特征的优势，同时最小化 RGB 图像引入的干扰，我们的方法通过对基本组件的简单重用和重新设计，在多个基准数据集上实现了最先进（SOTA）的性能。代码可在 https://github.com/JiangXinni/D2A2 获取。
引用
@article{arxiv.2401.08123,
title = {The Devil is in the Details: Boosting Guided Depth Super-Resolution via Rethinking Cross-Modal Alignment and Aggregation},
author = {Xinni Jiang and Zengsheng Kuang and Chunle Guo and Ruixun Zhang and Lei Cai and Xiao Fan and Chongyi Li},
journal= {arXiv preprint arXiv:2401.08123},
year = {2024}
}