HiSync：面向远程人机交互中命令来源识别的可穿戴IMU与机器人摄像机时空对齐框架
人机交互
2026-03-26 v2 机器人学
摘要
远程人机交互（HRI）仍未得到充分探索。在此范畴中，命令来源识别（CSI）——即确定谁发出指令——尤为具有挑战性，由于多用户和距离导致的传感器模糊性。我们引入HiSync，一种光学-惯性融合框架，将手部运动视为绑定线索，通过对齐机器人安装摄像机的光流与手部佩戴IMU信号。首先，我们引导用户定义（N=12）的手势集合，并在远程多用户HRI场景中收集多模态命令手势数据集（N=38）。随后，HiSync从摄像机和IMU数据中提取频域手部运动特征，学习的CSINet对IMU读数进行去噪、时序对齐，并进行距离感知的多窗口融合，以计算细微自然手势的跨模态相似度，从而实现对CSI的稳健识别。在3人、最远34米的场景中，HiSync实现了92.32%的CSI准确率，显著优于现有SOTA方法提升了48.44%。HiSync也在真实机器人上进行了验证。通过使CSI可靠且自然，HiSync为公共空间HRI提供了实用的原语和设计指导。https://github.com/OctopusWen/HiSync
引用
@article{arxiv.2603.11809,
title = {HiSync: Spatio-Temporally Aligning Hand Motion from Wearable IMU and On-Robot Camera for Command Source Identification in Long-Range HRI},
author = {Chengwen Zhang and Chun Yu and Borong Zhuang and Haopeng Jin and Qingyang Wan and Zhuojun Li and Zhe He and Zhoutong Ye and Yu Mei and Chang Liu and Weinan Shi and Yuanchun Shi},
journal= {arXiv preprint arXiv:2603.11809},
year = {2026}
}