HandCept：用于精准机器手关节空间感知的视觉-惯性融合框架

随着机器人技术向通用操作发展，灵活手势正变得越来越关键。然而，由于体积和通用性的限制，灵活手势的关节空间感知仍然成为瓶颈。本文提出了 HandCept，一种新颖的视觉-惯性关节空间感知框架，用以克服传统关节角度估计方法的挑战。HandCept 解决了在动态环境中实现准确和鲁棒关节角度估计的难题，同时视觉和惯性测量都容易受到噪声和漂移的影响。它采用零样本学习方法，使用腕部挂载的 RGB-D 摄像头和 9 轴 IMU，通过延迟-free 的扩展卡尔曼滤波 (EKF) 实时融合。我们的结果表明，HandCept 在无可观测漂移的情况下实现了 $2^{\circ}$ 到 $4^{\circ}$ 的关节角度估计误差，优于视觉-only 和惯性-only 方法。此外，我们验证了 IMU 系统的稳定性和一致性，表明跨 IMU 的统一基准坐标系简化了系统校准。为支持仿真到现实的迁移，我们还开源了我们的高保真渲染管道，这对于在没有真实世界地面值的情况下进行训练至关重要。本工作为灵活手势的关节空间感知提供了稳健、可泛化的解决方案，对机器人操作和人机交互具有重要意义。