MR.NAVI：面向视障人士的混合现实导航助手
计算机视觉与模式识别
2025-06-09 v1
摘要
全球约有 430 万人患有严重视力受损，面临在陌生环境中导航的诸多挑战。我们提出了 MR.NAVI，这是一个混合现实系统，通过实时场景理解和直观的音频反馈来增强视障用户的空间意识。该系统将计算机视觉算法用于目标检测和深度估计，结合自然语言处理技术，提供情境化的场景描述、主动碰撞规避以及导航指令。其分布式架构通过 MobileNet 进行目标检测，并采用基于 RANSAC 的地面检测结合 DBSCAN 聚类实现障碍物规避。集成公共交通 API 后，可实现公共交通导航方向。通过我们进行的用户研究实验，评估了在陌生环境中的场景描述和导航功能，结果显示系统具有良好的可用性和效果。
引用
@article{arxiv.2506.05369,
title = {MR.NAVI: Mixed-Reality Navigation Assistant for the Visually Impaired},
author = {Nicolas Pfitzer and Yifan Zhou and Marco Poggensee and Defne Kurtulus and Bessie Dominguez-Dager and Mihai Dusmanu and Marc Pollefeys and Zuria Bauer},
journal= {arXiv preprint arXiv:2506.05369},
year = {2025}
}