OO-dMVMT：一种用于实时3D手势分类与分割的深度多视角多任务分类框架
计算机视觉与模式识别
2023-04-13 v1
摘要
基于捕获手部姿态流的连续空中手势识别是人机交互的基础，尤其在AR / VR中。然而，许多提出的异构手势识别方法仅在分类任务上测试，连续流中实时低延迟手势分割在文献中未得到很好解决。针对该任务，我们提出开-关深度多视角多任务范式（OO-dMVMT）。其思想是利用与手部姿态和运动相关的多个时间局部视角生成丰富的手势描述，并同时使用异构任务以实现高准确率。OO-dMVMT扩展了经典MVMT范式——后者所有多任务须在每时刻均激活——通过允许特定任务根据是否适用于输入而开关。我们表明，OO-dMVMT在连续/在线基于3D骨骼的手势识别中，就手势分类准确率、分割准确率、假阳性与决策延迟而言定义了新的SotA，同时保持实时运行。
引用
@article{arxiv.2304.05956,
title = {OO-dMVMT: A Deep Multi-view Multi-task Classification Framework for Real-time 3D Hand Gesture Classification and Segmentation},
author = {Federico Cunico and Federico Girella and Andrea Avogaro and Marco Emporio and Andrea Giachetti and Marco Cristani},
journal= {arXiv preprint arXiv:2304.05956},
year = {2023}
}
备注
Accepted to the Computer Vision for Mixed Reality workshop at CVPR 2023