DeepMix：面向头戴设备的移动感知、轻量级混合三维目标检测
计算机视觉与模式识别
2022-03-17 v2
摘要
移动头戴设备应能够理解三维物理环境，从而为增强/混合现实（AR/MR）提供真正沉浸式的体验。然而，其小巧的外形与有限的计算资源使得实时执行三维视觉算法极具挑战性，已知这类算法比其二维对应算法计算更为密集。本文提出 DeepMix，一种移动感知、轻量级且混合的三维目标检测框架，用于改善移动头戴设备上 AR/MR 的用户体验。受我们对最先进三维目标检测模型分析与评估的启发，DeepMix 智能地结合边缘辅助的二维目标检测与新颖的、利用头戴设备所捕获深度数据的端侧三维边界框估计。这带来了较低的端到端延迟，并显著提升了移动场景下的检测精度。DeepMix 的一个独特之处在于其充分利用头戴设备的移动性来微调检测结果并提升检测精度。据我们所知，DeepMix 是首个达到 30 FPS（端到端延迟远低于交互式 AR/MR 所要求的 100 ms 严苛标准）的三维目标检测方案。我们在 Microsoft HoloLens 上实现了 DeepMix 原型，并通过大量受控实验和一项有 30 余名参与者的用户研究评估其性能。与采用现有三维目标检测模型的基线相比，DeepMix 不仅将检测精度提升 9.1%–37.3%，还将端到端延迟降低 2.68–9.15 倍。
引用
@article{arxiv.2201.08812,
title = {DeepMix: Mobility-aware, Lightweight, and Hybrid 3D Object Detection for Headsets},
author = {Yongjie Guan and Xueyu Hou and Nan Wu and Bo Han and Tao Han},
journal= {arXiv preprint arXiv:2201.08812},
year = {2022}
}