中文

用于精确深度补全的稀疏深度引导注意力:一种立体辅助的监控蒸馏方法

计算机视觉与模式识别 2023-09-06 v3

摘要

本文提出一种新颖的深度补全方法,利用多视角改进型监控蒸馏生成更精确的深度图。我们的方法建立在最先进的集成蒸馏方法之上,其中引入基于立体的模型作为教师模型以提升学生模型深度补全的精度。通过在集成蒸馏中最小化目标图像的重建误差,可避免学习基于补全的教师模型固有的误差模式。我们在学生模型的前层引入基于注意力的稀疏到稠密(AS2D)模块,以增强其从稀疏深度提取全局特征的能力。为提供自监督信息,我们还采用多视角深度一致性与多尺度最小重投影。这些技术利用已有的结构约束为学生模型训练产生监督信号,无需昂贵的真实深度信息。大量实验评估表明,所提方法显著提升了基线监控蒸馏方法的精度。

关键词

引用

@article{arxiv.2303.15840,
  title  = {Sparse Depth-Guided Attention for Accurate Depth Completion: A Stereo-Assisted Monitored Distillation Approach},
  author = {Jia-Wei Guo and Hung-Chyun Chou and Sen-Hua Zhu and Chang-Zheng Zhang and Ming Ouyang and Ning Ding},
  journal= {arXiv preprint arXiv:2303.15840},
  year   = {2023}
}

备注

7 pages, 8 figures, references added