基于 FCNN 的超分辨率毫米波雷达框架用于非接触式乐器交互界面
信号处理
2023-05-04 v1 多媒体
摘要
在本文中，我们提出了一种利用基于深度学习的超分辨率与跟踪算法的新型跟踪技术实现非接触式人机交互（HCI）的框架。我们的系统通过利用反射雷达波形中嵌入的时空特征，提供了前所未有的手部位置与运动特性的高分辨率跟踪。与现有基于深度学习的毫米波雷达工作中对预定义手势集合的样本进行分类不同，我们所提出的成像器采用回归式全卷积神经网络（FCNN）方法，通过空间超分辨率提升定位精度。尽管所提技术适用于大量跟踪应用，本文聚焦于其作为乐器交互界面的应用，以展示手势感知流水线及深度学习信号处理链的鲁棒性。用户可通过改变手在竖直朝向传感器上方的位置与速度来控制乐器。通过采用商用多输入多输出（MIMO）雷达而非传统光学传感器，我们的框架展示了毫米波感知模态用于精细运动跟踪的有效性，并为大量 HCI 任务提供了优雅的解决方案。此外，我们提供了一个自由可用的软件包与用户界面，用于操控设备、将数据实时流式传输至 MATLAB，并提升本文所用信号处理及设备接口功能的可及性。
引用
@article{arxiv.2305.01995,
title = {An FCNN-Based Super-Resolution mmWave Radar Framework for Contactless Musical Instrument Interface},
author = {Josiah W. Smith and Orges Furxhi and Murat Torlak},
journal= {arXiv preprint arXiv:2305.01995},
year = {2023}
}
备注
Accepted to IEEE Transactions on Multimedia