基于TinyML和传感器融合的ROS移动机械臂双手手势接口
机器人学
2025-09-25 v1
摘要
面向移动机械臂的基于手势的控制在可靠性、效率和直观性方面面临持续挑战。本文提出了一种双手手势接口，该接口在ROS框架内集成了TinyML、频谱分析和传感器融合，以解决这些局限性。该系统利用加速度计和弯曲传感器捕获的左手倾斜和手指弯曲来控制移动基座导航，而右手的IMU信号则通过频谱分析进行处理，并由轻量级神经网络进行分类。该流程实现了基于TinyML的手势识别，以控制一个7自由度的Kinova Gen3机械臂。通过支持同步导航和操作，该框架相比顺序方法提高了效率和协调性。关键贡献包括双手控制架构、实时低功耗手势识别、鲁棒的多模态传感器融合以及可扩展的基于ROS的实现。所提出的方法推动了面向工业自动化、辅助机器人和危险环境的人机交互（HRI）发展，提供了一种具有成本效益的开源解决方案，具有强大的实际部署和进一步优化的潜力。
引用
@article{arxiv.2509.19521,
title = {A Bimanual Gesture Interface for ROS-Based Mobile Manipulators Using TinyML and Sensor Fusion},
author = {Najeeb Ahmed Bhuiyan and M. Nasimul Huq and Sakib H. Chowdhury and Rahul Mangharam},
journal= {arXiv preprint arXiv:2509.19521},
year = {2025}
}
备注
12 pages, 11 figures