SparseFormer: 基于注意力的深度补全网络
计算机视觉与模式识别
2022-06-10 v1
摘要
大多数增强现实与虚拟现实流水线通过构建稀疏3D地标地图来估计相机的自运动。本文处理深度补全问题,即利用RGB图像作为引导来使该稀疏3D地图变密。由于SfM与SLAM流水线所产生的3D地标密度低、非均匀且易含离群点,这仍是一个具挑战性的问题。我们引入一个Transformer模块SparseFormer,将3D地标与深度视觉特征融合以产生稠密深度。SparseFormer具有全局感受野,使该模块尤其适用于低密度与非均匀地标的深度补全。为解决3D地标中深度离群点的问题,我们引入一个可训练的精化模块,通过稀疏地标间的注意力来过滤离群点。
引用
@article{arxiv.2206.04557,
title = {SparseFormer: Attention-based Depth Completion Network},
author = {Frederik Warburg and Michael Ramamonjisoa and Manuel López-Antequera},
journal= {arXiv preprint arXiv:2206.04557},
year = {2022}
}
备注
Accepted at CV4ARVR 2022