OMG-Bench：面向基于骨架的在线微型手势识别的新型挑战性基准
计算机视觉与模式识别
2026-03-31 v2 人机交互
摘要
从手部骨架进行在线微型手势识别是VR/AR交互中的关键任务，但面临公共数据集有限和任务特定算法不足的挑战。微型手势涉及细微的运动模式，这使得构建具有精确骨架和帧级注释的数据集变得困难。为此，我们开发了一个多视图自监督管道，用于自动生成骨架数据，并辅以启发式规则和专家细化进行半自动注释。基于该管道，我们引入OMG-Bench，首个面向基于骨架的在线微型手势识别的大规模公共基准。它包含40个细粒度手势类别，13,948个实例，跨1,272个序列，具有细微运动、快速动力学和连续执行等特征。为解决这些挑战，我们提出了层次化记忆增强变换器(Hierarchical Memory-Augmented Transformer, HMATr)，一个统一手势检测和分类的端到端框架，利用层次化记忆库存储帧级细节和窗口级语义，以保留历史上下文。此外，它采用从记忆中初始化的可学习位置感知查询，隐式地编码手势位置和语义。实验表明，HMATr在检测率上超越最先进方法7.6%，为在线微型手势识别树立了强大的基准。项目页面：https://omg-bench.github.io/
引用
@article{arxiv.2512.16727,
title = {OMG-Bench: A New Challenging Benchmark for Skeleton-based Online Micro Hand Gesture Recognition},
author = {Haochen Chang and Pengfei Ren and Buyuan Zhang and Da Li and Tianhao Han and Haoyang Zhang and Liang Xie and Hongbo Chen and Erwei Yin},
journal= {arXiv preprint arXiv:2512.16727},
year = {2026}
}
备注
Accepted by CVPR 2026