利用雷达点云进行跨模态图表示学习以实现远距离手势识别
信号处理
2022-05-20 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
手势识别是最直观的交互方式之一，并在人机交互中受到特别关注。雷达传感器具有多种固有特性，例如可在低照度、恶劣气象条件下工作，且低成本、紧凑，使其成为手势识别解决方案的高度优选。然而，多数文献工作聚焦于作用距离小于一米的有限范围解决方案。我们提出了一种用于远距离（1m - 2m）手势识别的新颖架构，其利用从相机点云到 60-GHz FMCW 雷达点云的基于点云的跨学习方法，从而在学习更好表示的同时抑制噪声。我们使用 Dynamic Graph CNN（DGCNN）的一种变体进行跨学习，使我们能够在局部和全局层面建模点之间的关系，并采用 Bi-LSTM 网络建模时间动态。在实验结果部分，我们展示了我们的模型对五种手势的总体准确率为 98.4% 及其泛化能力。
引用
@article{arxiv.2203.17066,
title = {Cross-modal Learning of Graph Representations using Radar Point Cloud for Long-Range Gesture Recognition},
author = {Souvik Hazra and Hao Feng and Gamze Naz Kiprit and Michael Stephan and Lorenzo Servadei and Robert Wille and Robert Weigel and Avik Santra},
journal= {arXiv preprint arXiv:2203.17066},
year = {2022}
}
备注
Accepted by IEEE Sensor Array and Multichannel Signal Processing Workshop (SAM 2022)