基于雷达的美国手语静态手势识别

在人机交互（HCI）和虚拟现实（VR）这一快速发展的领域，自动手势识别变得日益重要。这对于手语识别尤为如此，它为轻松导航和控制 VR 及 HCI 应用提供了一种直观的方式。考虑到日益增加的隐私要求，雷达传感器成为摄像头的有力替代品。由于其分辨率较低且波长与可见光不同，雷达传感器能够在不捕捉可识别人体细节的情况下，在低光照条件下有效工作。虽然先前的工作主要部署基于多普勒信息的雷达传感器进行动态手势识别，但我们的方法优先使用基于空间信息（例如类图像数据）的成像雷达进行分类。然而，生成神经网络（NN）所需的大规模训练数据集是一个耗时且充满挑战的过程，往往难以覆盖所有潜在场景。认识到这些挑战，本研究探讨了由先进雷达射线追踪模拟器生成的合成数据的有效性。该模拟器采用了一种直观的材料模型，可进行调整以引入数据多样性。尽管仅在合成数据上训练神经网络，但在真实测量数据测试中仍显示出令人期待的性能。这强调了我们方法论在克服数据稀缺挑战以及推动 VR 和 HCI 应用中自动手势识别领域发展的实用性。