提升雷达手势识别：融合仿真与神经网络的混合光谱合成框架
人机交互
2025-04-24 v1
摘要
毫米波(mmWave)雷达传感器通过检测细微运动在手势识别(HGR)中发挥着关键作用，同时保留用户隐私。然而，雷达数据集规模有限限制了性能。现有的合成数据生成方法在两个关键方面不足。一方面，基于建模的方法无法准确模拟手势层面的波导传播和反射，面临唯一的难题包括衍射和遮挡。另一方面，基于生成模型的方法在雷达数据有限时难以收敛，缺乏可解释性，有时甚至无法产生符合运动学的合理结果。为克服这些限制，我们提出一种新型混合光谱合成框架，利用视觉手势数据。它结合基于圆柱网格的手部反射模型和一个聚焦于为模拟信号分配权重的小规模神经网络RadarWeightNet。我们的框架解决了两个关键挑战：实现复杂手部几何的准确仿真，以及在数据驱动方式下弥合仿真到现实的鸿沟，同时保持可解释性，这在物理精度与机器学习适应性之间取得了平衡。在稀缺雷达数据的极端场景下测试我们的框架。结果表明，我们的混合框架在合成性能上实现了最高63%的SSIM，在few-shot学习中的分类性能提升了最高30%。
引用
@article{arxiv.2504.16423,
title = {Advancing Radar Hand Gesture Recognition: A Hybrid Spectrum Synthetic Framework Merging Simulation with Neural Networks},
author = {Jiaqi Tang and Xinbo Xu and Yinsong Xu and Qingchao Chen},
journal= {arXiv preprint arXiv:2504.16423},
year = {2025}
}