基于令牌共享 Transformer 的轻量级单目深度估计
计算机视觉与模式识别
2023-06-12 v1 人工智能
机器学习
机器人学
图像与视频处理
摘要
深度估计是各类机器人系统与应用中的重要任务。在移动机器人系统中，单目深度估计备受青睐，因为单个 RGB 相机可低成本、小体积地部署。由于其显著且增长的需求，许多面向移动机器人系统的轻量级单目深度估计网络已被提出。尽管大多数轻量级单目深度估计方法使用卷积神经网络开发，Transformer 近来已逐渐用于单目深度估计。然而，Transformer 中庞大的参数量与计算开销妨碍了其在嵌入式设备上的部署。本文提出 Token-Sharing Transformer（TST），一种使用 Transformer 进行单目深度估计、针对嵌入式设备特别优化的架构。所提 TST 利用全局令牌共享，使模型能在嵌入式设备中以高吞吐获得准确的深度预测。实验结果表明，TST 优于现有轻量级单目深度估计方法。在 NYU Depth v2 数据集上，TST 在 NVIDIA Jetson nano 上可达 63.4 FPS、在 NVIDIA Jetson TX2 上可达 142.6 FPS 的深度图输出，且误差低于现有方法。此外，TST 在 Jetson TX2 上以具竞争力的结果实现了高分辨率图像的实时深度估计。
引用
@article{arxiv.2306.05682,
title = {Lightweight Monocular Depth Estimation via Token-Sharing Transformer},
author = {Dong-Jae Lee and Jae Young Lee and Hyounguk Shon and Eojindl Yi and Yeong-Hun Park and Sung-Sik Cho and Junmo Kim},
journal= {arXiv preprint arXiv:2306.05682},
year = {2023}
}
备注
ICRA 2023