移动增强现实场景下的目标检测
计算机视觉与模式识别
2020-08-18 v1
摘要
过去几年中，人们开发了众多深度神经网络（DNN）模型与框架，以解决基于RGB图像的实时目标检测问题。普通的目标检测方法仅处理图像中的信息，而忽略了相机相对于环境的位姿以及环境的尺度。另一方面，移动增强现实（AR）框架能够持续跟踪相机在场景中的位姿，并可通过视觉-惯性里程计（VIO）估计环境的正确尺度。本文提出一种新方法，将来自VIO的几何信息与来自目标检测器的语义信息相结合，以提升移动设备上的目标检测性能。我们的方法包含三个组件：（1）图像方向校正方法，（2）基于尺度的滤波方法，以及（3）在线语义地图。每个组件都利用了基于VIO的AR框架的不同特性。我们使用ARCore与SSD Mobilenet模型在Android手机上实现了AR增强功能。为验证我们的方法，我们手动标注了来自12次房间尺度AR会话的图像序列中的目标。结果表明，在我们的数据集上，我们的方法能将通用目标检测器的准确率提升12%。
引用
@article{arxiv.2008.06655,
title = {Object Detection in the Context of Mobile Augmented Reality},
author = {Xiang Li and Yuan Tian and Fuyao Zhang and Shuxue Quan and Yi Xu},
journal= {arXiv preprint arXiv:2008.06655},
year = {2020}
}
备注
accepted to IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2020