HIDA：基于可穿戴固态 LiDAR 传感器语义实例分割的视障人士整体室内理解辅助系统
计算机视觉与模式识别
2021-07-08 v1 人机交互
机器人学
摘要
独立探索未知空间或在室内环境中寻找物体是视障人士日常但具挑战性的任务。然而，常见 2D 辅助系统缺乏各类物体间的深度关系，难以获取准确的空间布局与物体相对位置。为解决这些问题，我们提出 HIDA，一种基于固态 LiDAR 传感器 3D 点云实例分割的轻量辅助系统，用于整体室内检测与避障。我们的整个系统由三个硬件组件、两个交互功能（避障与寻物）以及一个语音用户界面组成。基于语音引导，用户通过现场扫描捕获变化室内环境最新状态的点云。此外，我们设计了一种带双轻量解码器用于语义与偏移预测的点云分割模型，满足整个系统的效率需求。在 3D 实例分割后，我们通过去除离群点并将所有点投影至俯视 2D 地图表示来对分割点云进行后处理。系统整合上述信息并通过声音反馈与用户直观交互。所提出的 3D 实例分割模型在 ScanNet v2 数据集上取得了最先进的性能。用户研究中多种任务的全面现场测试验证了我们的系统在辅助视障人士整体室内理解、避障与物体搜索方面的可用性与有效性。
引用
@article{arxiv.2107.03180,
title = {HIDA: Towards Holistic Indoor Understanding for the Visually Impaired via Semantic Instance Segmentation with a Wearable Solid-State LiDAR Sensor},
author = {Huayao Liu and Ruiping Liu and Kailun Yang and Jiaming Zhang and Kunyu Peng and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2107.03180},
year = {2021}
}
备注
10 figures, 5 tables