CaSAR：接触感知的骨骼动作识别
计算机视觉与模式识别
2023-09-20 v1
摘要
从第一人称视角进行骨骼动作识别对于 AR/VR 眼镜中的界面以及人机交互等资源受限设备的应用十分重要。现有多数骨骼动作识别方法使用手部关节的 3D 坐标与物体的八角矩形包围盒作为输入，但未能捕捉手与物体在空间语境中如何相互作用。本文提出一种称为接触感知骨骼动作识别（CaSAR）的新框架。它使用涵盖空间信息的手-物交互新表征：1）手部关节与物体接触的接触点，2）手部关节远离物体且几乎未参与当前动作的远距点。我们的框架能够学习手部在动作序列每一帧中如何触碰或远离物体，并利用该信息预测动作类别。我们证明，本方法在两个公开数据集 H2O 与 FPHA 上分别取得了 91.3% 与 98.4% 的当前最优准确率。
引用
@article{arxiv.2309.10001,
title = {CaSAR: Contact-aware Skeletal Action Recognition},
author = {Junan Lin and Zhichao Sun and Enjie Cao and Taein Kwon and Mahdi Rad and Marc Pollefeys},
journal= {arXiv preprint arXiv:2309.10001},
year = {2023}
}
备注
10 pages, 8 figures