THETA：基于三角测量的手部状态估计，用于机器人手控制的遥操作与自动化

机器人手的遥操作受限于深度摄像头和传感手套的高成本，这些设备常用于估计手部相对关节位置（XYZ）。我们提出一种新颖的低成本方法，使用三台摄像机进行三角测量来近似估计人类手指的相对关节角度（theta）。我们还引入了经过修改的 DexHand——来自 TheRobotStudio 的低成本机器人手——以演示 THETA 的实时应用。数据收集采用三台 640x480 分辨率的摄像机以 120 度间隔布置，进行 40 种不同手势的采集，生成超过 48,000 张 RGB 图像。手部关节角度通过测量 MCP、PIP 和 DIP 手指关节的中点来手动确定。采集的 RGB 帧使用基于 ResNet-50 主干网络的 DeepLabV3 分割模型进行处理，以实现多尺度手部分割。分割后的图像经 HSV 过滤后输入 THETA 的架构，后者由基于 MobileNetV2 的 CNN 分类器构成，专为层次化空间特征提取优化，并采用 9 通道输入张量编码多视角手部表征。分类模型将分割后的手部视图映射到离散关节角度，实现 97.18% 的准确率、98.72% 的召回率、0.9274 的 F1 分数以及 0.8906 的精确率。在实时推理中，THETA 同时捕获多帧图像、分割手部区域、进行过滤，并编译 9 通道张量进行分类。关节角度预测通过串行信号传递至 Arduino，从而实现 DexHand 复制手部动作。未来研究将增加数据集的多样性，集成手腕跟踪，并应用诸如 OpenAI-Vision 等计算机视觉技术。THETA 有潜力提供一种成本效益高、用户友好的遥操作解决方案，适用于医疗、语言和制造业应用。