用于视频中空中书写识别的指尖检测与跟踪
计算机视觉与模式识别
2019-07-01 v1
摘要
空中书写是指在无手持设备辅助下，利用手指或手部运动在自由空间中书写字符或单词的过程。在这项工作中，我们解决了以网络摄像头视频作为输入的中空手指书写问题。尽管目标检测与跟踪近期取得了进展，但由于指尖尺寸较小，准确且鲁棒的指尖检测与跟踪仍是一项具有挑战性的任务。此外，由于缺少任何标准分隔准则，中空手指书写的起始与终止判定同样具有挑战性。为解决这些问题，我们提出了一种新的书写手姿态检测算法，用于空中书写的初始化：利用 Faster R-CNN 框架进行精确手部检测，随后进行手部分割，最后基于手的几何特性统计抬起的手指数量。此外，我们提出了一种鲁棒的指尖检测与跟踪方法，使用一种称为距离加权曲率熵的新签名函数。最后，采用基于指尖速度的终止准则作为分隔符来标记空中书写手势的完成。实验表明，所提出的指尖检测与跟踪算法优于现有最优方法，平均精度达 73.1%，同时以 18.5 fps 实现实时性能，这一条件对空中书写至关重要。使用所提出的空中书写系统进行字符识别实验，平均准确率为 96.11%，该结果与现有手写字符识别系统相当。
引用
@article{arxiv.1809.03016,
title = {Fingertip Detection and Tracking for Recognition of Air-Writing in Videos},
author = {Sohom Mukherjee and Arif Ahmed and Debi Prosad Dogra and Samarjit Kar and Partha Pratim Roy},
journal= {arXiv preprint arXiv:1809.03016},
year = {2019}
}
备注
32 pages, 10 figures, 2 tables. Submitted to Journal of Expert Systems with Applications