AirGlove：探索基于 egocentric 的 3D 手部跟踪与外观泛化用于感知手套

感知手套已成为遥操作和机器人策略学习的重要工具，因为它们能够提供速度、加速度和触觉反馈等丰富信号。常用的 gloved 手跟踪方法直接使用传感器信号(如角速度、重力方向)来估计 3D 手部姿态。然而，基于传感器的跟踪在实际应用中受限于传感器信号和校准质量。近期出现的基于视觉的方法已在大规模预训练数据上取得优异的人手性能，但其在具有显著外观差异的 gloved 手上的性能仍未得到充分探索。本文提出了 AirGlove，系统评估了在零样态和 fine-tuning 设置下基于视觉的手部跟踪模型在 gloved 手上的表现。我们的分析表明，现有的裸手模型因裸手与手套设计之间的大幅外观差距，在感知手套上会出现显著的性能下降。我们因此提出 AirGlove，该方法利用现有手套来泛化所学的手套表征，以针对新设计的手套进行有限数据下的泛化。多个感知手套的实验表明，AirGlove 有效地将手姿态模型泛化到新的手套设计上，并相较于其他方案实现了显著的性能提升。