MateRobot：面向视障人士可穿戴机器人中的材料识别
机器人学
2024-03-07 v3 计算机视觉与模式识别
摘要
视障人士（PVI）通常通过触觉感知来识别物体。目标用户在触摸前获知物体与材料是其期望但以人为本机器人领域中尚待探索的功能。为填补这一空白，本文构建了一个基于视觉的可穿戴机器人系统 MateRobot，供 PVI 在事前识别材料与物体类别。为应对移动平台的计算限制，我们提出了一种轻量且精确的模型 MateViT 来执行像素级语义分割，同时识别物体与材料。我们的方法在 COCOStuff-10K 与 DMS 数据集上分别取得 40.2% 与 51.1% 的 mIoU，较先前方法分别提升 +5.7% 与 +7.0%。此外，在面向受试者的现场测试中，我们的可穿戴系统于 NASA 任务负荷指数中得分为 28，表明认知负荷低且易于使用。我们的 MateRobot 证明了通过视觉线索识别材料属性的可行性，并为提升面向 PVI 的可穿戴机器人功能迈出了有前景的一步。源代码已公开于 https://junweizheng93.github.io/publications/MATERobot/MATERobot.html。
引用
@article{arxiv.2302.14595,
title = {MateRobot: Material Recognition in Wearable Robotics for People with Visual Impairments},
author = {Junwei Zheng and Jiaming Zhang and Kailun Yang and Kunyu Peng and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2302.14595},
year = {2024}
}
备注
Accepted to ICRA 2024. The source code is publicly available at https://junweizheng93.github.io/publications/MATERobot/MATERobot.html