StairNet：面向人机行走的楼梯视觉识别
计算机视觉与模式识别
2023-11-01 v1
摘要
配备假肢腿与外骨骼的人机行走，尤其是在楼梯等复杂地形上，仍是一项重大挑战。以自我为中心的视觉具有在物理交互之前检测行走环境的独特潜力，可改善上下楼梯的过渡。这促使我们发起 StairNet 计划，以支持开发用于楼梯视觉感知与识别的新型深度学习模型，重点在于用于板载实时推理的轻量高效神经网络。在本研究中，我们概述了包含超过 515,000 张人工标注图像的大规模数据集的构建，以及利用该新数据集开发的不同深度学习模型（如 2D 与 3D CNN、CNN 与 LSTM 混合网络、ViT 网络）和训练方法（如带时序数据的监督学习、带无标注图像的半监督学习）。我们以不同设计稳定实现了高分类准确率（即高达 98.8%），在模型准确率与规模之间提供了权衡。当部署于带 GPU 与 NPU 加速器的移动设备时，我们的深度学习模型实现了高达 2.8 ms 的推理速度。我们还将模型部署于定制设计的 CPU 驱动智能眼镜上。然而，嵌入式硬件的局限导致 1.5 秒的较慢推理速度，呈现出以人为中心的设计与性能之间的权衡。总体而言，我们表明 StairNet 可成为一个有效平台，用于开发和研究面向人机行走的新型视觉感知系统，并可应用于外骨骼与假肢腿控制。
引用
@article{arxiv.2310.20666,
title = {StairNet: Visual Recognition of Stairs for Human-Robot Locomotion},
author = {Andrew Garrett Kurbis and Dmytro Kuzmenko and Bogdan Ivanyuk-Skulskiy and Alex Mihailidis and Brokoslaw Laschowski},
journal= {arXiv preprint arXiv:2310.20666},
year = {2023}
}