设备端实时自定义手势识别

大多数现有的手势识别(HGR)系统局限于预定义的一组手势。然而，用户和开发者通常希望识别新的、未见过的手势。由于所有合理手形的巨大多样性，这是具有挑战性的，例如开发者不可能将所有手势包含在预定义列表中。在本文中，我们提出了一个用户友好的框架，让用户轻松自定义并部署自己的手势识别流水线。我们的框架提供了一个预训练的单手嵌入模型，可针对自定义手势识别进行微调。用户可在网络摄像头前执行手势，为每个手势收集少量图像。我们还提供了低代码解决方案来训练和部署自定义手势识别模型。这使得 ML 专业知识有限的用户易于使用我们的框架。我们进一步为没有任何 ML 专业知识的用户提供了无代码 Web 前端。这使得构建和测试端到端流水线更加容易。所得的自定义 HGR 随后可用于设备端实时场景。这可通过在我们开源的模型推理 API MediaPipe Tasks 中调用一个简单的函数来完成。整个过程仅需几分钟。