移动端基于稀疏监督的实时单目深度估计
计算机视觉与模式识别
2021-05-26 v1
摘要
单目（相对或度量）深度估计是自动驾驶、增强现实与图像编辑等多种应用的关键任务。近年来，随着移动设备日益普及，准确且移动端友好的深度模型愈发重要。日益精确的模型通常需要更多计算资源，阻碍了此类模型在移动设备上的使用。移动端用例可谓限制最少，其需要高度准确且移动端友好的架构。因此，我们试图回答以下问题：如何在不增加复杂度（即参数）的情况下改进模型？为此，我们从多个维度系统探索相对深度估计模型的设计空间，并通过关键设计选择与消融研究展示，即便现有架构也能以极小复杂度达到极具竞争力的SOTA性能。我们的研究涵盖深入的主干模型选择过程、知识蒸馏、中间预测、模型剪枝与损失再平衡。我们展示，仅使用DIW作为监督数据集的模型在DIW上取得0.1156 WHDR、参数量2.6M，并在移动GPU上达到37 FPS，无需剪枝或硬件特定优化。我们模型的剪枝版本在DIW上取得0.1208 WHDR、参数量1M，并在移动GPU上达到44 FPS。
引用
@article{arxiv.2105.12053,
title = {Real-time Monocular Depth Estimation with Sparse Supervision on Mobile},
author = {Mehmet Kerim Yucel and Valia Dimaridou and Anastasios Drosou and Albert Saà-Garriga},
journal= {arXiv preprint arXiv:2105.12053},
year = {2021}
}
备注
To appear at CVPR 2021 Mobile AI (MAI) Workshop