移动AR深度估计：挑战与前景——扩展版
计算机视觉与模式识别
2023-10-24 v1
摘要
度量深度估计在移动增强现实（AR）中起着重要作用。借助准确的度量深度，我们可以实现更逼真的用户交互，如物体放置与遮挡检测。虽然 LiDAR 等专用硬件展现了其潜力，但其有限的可用性（即仅见于部分高端移动设备）以及测程与对环境敏感等性能局限，使其不够理想。另一方面，单目深度估计仅依赖无处不在的移动摄像头，这使其成为移动AR中有前景的替代方案。本文中，我们研究了在移动AR中实现准确度量深度估计的挑战与机遇。我们在一个新引入的数据集（ARKitScenes）上测试了四种不同的最先进单目深度估计模型，并识别出三类挑战：硬件相关、数据相关和模型相关的挑战。此外，我们的研究提供了有前景的未来方向来探索并解决这些挑战。这些方向包括（i）利用移动设备摄像头及其他可用传感器中更多与硬件相关的信息，（ii）捕获反映真实世界AR场景的高质量数据，以及（iii）设计可利用新信息的模型架构。
引用
@article{arxiv.2310.14437,
title = {Mobile AR Depth Estimation: Challenges & Prospects -- Extended Version},
author = {Ashkan Ganj and Yiqin Zhao and Hang Su and Tian Guo},
journal= {arXiv preprint arXiv:2310.14437},
year = {2023}
}