ADU-Depth：基于注意力蒸馏与不确定性建模的深度估计方法
计算机视觉与模式识别
2023-09-27 v1 机器人学
摘要
单目深度估计因其固有的模糊性和病态性而具有挑战性，但对许多应用至关重要。近期工作通过设计日益复杂的网络从单张 RGB 图像中提取具有有限空间几何线索的特征，仅取得有限精度；我们则意图通过训练一个以左右图像对作为输入的教师网络，并将学到的三维几何感知知识迁移至单目学生网络，从而引入空间线索。具体而言，我们提出一种新颖的知识蒸馏框架，名为 ADU-Depth，旨在利用训练良好的教师网络引导学生网络的学习，从而借助额外空间场景信息提升精确深度估计。为实现域适应并确保从教师到学生的有效平滑知识迁移，我们在训练阶段同时应用注意力适配的特征蒸馏与焦点深度适配的响应蒸馏。此外，我们显式建模深度估计的不确定性，以在特征空间和结果空间引导蒸馏，从而更好地从单目观测中产生三维感知知识，并增强对难以预测图像区域的学习。我们在真实深度估计数据集 KITTI 和 DrivingStereo 上的大量实验证明了所提方法的有效性，其在具挑战性的 KITTI 在线基准上排名第 1。
引用
@article{arxiv.2309.14744,
title = {ADU-Depth: Attention-based Distillation with Uncertainty Modeling for Depth Estimation},
author = {Zizhang Wu and Zhuozheng Li and Zhi-Gang Fan and Yunzhe Wu and Xiaoquan Wang and Rui Tang and Jian Pu},
journal= {arXiv preprint arXiv:2309.14744},
year = {2023}
}
备注
accepted by CoRL 2023