基于潜在嵌入利用的面向运动障碍人群手势可穿戴传感器小样本持续学习
机器学习
2024-06-13 v2
摘要
手势可以提供一种自然的人机交互方式，并使无法说话的人能够高效沟通。现有的手势识别方法严重依赖预定义的手势，然而，运动障碍人群需要根据每个人的手势动作和风格量身定制的新手势。由于健康状况、残疾严重程度、手臂运动模式等因素，从不同人收集的手势样本存在分布偏移。在本文中，我们在基于回放的小样本持续学习（FSCL）框架中引入了潜在嵌入利用（LEE）机制，该机制显著提高了针对分布外数据微调模型的性能。我们的方法通过利用被称为手势先验知识的保留潜在嵌入，以及从两个额外嵌入导出的手势内散度，生成了一个多样化的潜在特征空间。因此，模型能够在样本有限的情况下捕捉高度可变手势中的潜在统计结构。我们使用 SmartWatch Gesture 和 Motion Gesture 数据集进行了实验评估。所提出的方法在使用一个、三个和五个样本对六种不同手势进行测试时，平均测试准确率分别达到 57.0%、64.6% 和 69.3%。我们的方法帮助运动障碍人群利用可穿戴设备，他们独特的运动风格可以被学习并应用于人机交互和社交沟通中。代码可在：https://github.com/riyadRafiq/wearable-latent-embedding-exploitation 获取。
引用
@article{arxiv.2405.08969,
title = {Wearable Sensor-Based Few-Shot Continual Learning on Hand Gestures for Motor-Impaired Individuals via Latent Embedding Exploitation},
author = {Riyad Bin Rafiq and Weishi Shi and Mark V. Albert},
journal= {arXiv preprint arXiv:2405.08969},
year = {2024}
}
备注
Accepted at AI for Social Good track of IJCAI 2024 (the 33rd International Joint Conference on Artificial Intelligence), 14 pages, 11 figures