ImAiR：基于IMU信号图像表示的空中书写识别框架
人机交互
2022-11-02 v2
摘要
空中书写识别的问题聚焦于识别通过手指在自由空间中移动所写出的字母。它是一种手势识别，其字典对应于特定语言中的字母。特别地，使用来自腕戴设备的传感器数据进行空中书写识别，可用作人机交互（HCI）中应用的用户输入媒介。利用此类腕戴设备对空中轨迹的识别在文献中有限，并构成了当前工作的基础。在本文中，我们提出一种空中书写识别框架：首先将腕部可穿戴惯性测量单元（IMU）获得的时序数据编码为图像，然后利用基于深度学习的模型来识别所写字母。来自IMU中3轴加速度计与陀螺仪的记录信号使用自相似矩阵（SSM）、格拉姆角场（GAF）与马尔可夫转移场（MTF）等不同技术编码为图像，形成两组3通道图像。随后将它们送入两个独立的分类模型，并基于两个模型所得类条件概率的平均值做出字母预测。我们采用了若干用于图像分类的标准模型架构，如ResNet、DenseNet、VGGNet、AlexNet与GoogleNet的变体。在两个公开可用数据集上的实验证明了所提策略的有效性。我们的实现代码将发布于 https://github.com/ayushayt/ImAiR。
引用
@article{arxiv.2205.01904,
title = {ImAiR: Airwriting Recognition framework using Image Representation of IMU Signals},
author = {Ayush Tripathi and Arnab Kumar Mondal and Lalan Kumar and Prathosh A. P},
journal= {arXiv preprint arXiv:2205.01904},
year = {2022}
}