基于端到点云学习的原地手势分类
人机交互
2021-08-24 v1
摘要
原地行走以在虚拟环境中移动近来引起了显著关注。近期尝试侧重于训练分类器，利用 CNN 或 LSTM 等神经网络识别特定手势模式（例如站立、行走等）。然而，它们通常考虑极少手势类型，和/或在虚拟环境中引入较不理想的延迟。本文中，我们提出一种准确且高效的原地手势分类新框架。我们的核心思想是将若干连续帧视为“点云”。HMD 与两个 VIVE 追踪器在每帧提供三个点，每个点由 12 维特征组成（即三维位置坐标、速度、旋转、角速度）。我们创建了一个包含 9 类虚拟原地移动手势的数据集。除监督式基于点的网络外，由于人际差异，我们还考虑了无监督域适应。为此，我们开发了端到端联合框架，同时包含用于监督点学习的监督损失与用于无监督域适应的无监督损失。实验表明，我们的方法在整体分类准确率（95.0%）与实时性能（192ms 延迟）方面产生了非常有前景的结果。我们的代码将公开于：https://github.com/ZhaoLizz/PCT-MCD。
引用
@article{arxiv.2108.09639,
title = {Classifying In-Place Gestures with End-to-End Point Cloud Learning},
author = {Lizhi Zhao and Xuequan Lu and Min Zhao and Meili Wang},
journal= {arXiv preprint arXiv:2108.09639},
year = {2021}
}
备注
This paper is accepted to IEEE ISMAR