GesSure——一种具备鲁棒人脸认证的动态手势识别GUI应用
人机交互
2022-09-08 v2 计算机视觉与模式识别
摘要
使用鼠标和键盘等物理交互设备阻碍了自然的人机交互，并在疫情期间增加了表面接触的概率。现有手势识别系统不具备用户认证功能，使其不可靠。当前手势识别技术中的静态手势带来了较长的适应期并降低了用户兼容性。我们的技术高度重视用户识别与安全。我们使用有意义且相关的手势进行操作任务，从而获得更好的用户体验。本文旨在设计一种鲁棒的、启用人脸验证的手势识别系统，其利用图形用户界面并主要通过用户识别与授权来聚焦安全性。人脸模型使用MTCNN和FaceNet验证用户，我们的LSTM-CNN架构用于手势识别，在五类手势上达到95%的准确率。通过本研究开发的原型已成功直观地执行了依赖上下文的任务如保存、打印、控制视频播放操作与退出，以及无关上下文的操作系统任务如休眠、关机与解锁。我们的应用与数据集作为开源提供。
引用
@article{arxiv.2207.11033,
title = {GesSure- A Robust Face-Authentication enabled Dynamic Gesture Recognition GUI Application},
author = {Ankit Jha and Ishita and Pratham G. Shenwai and Ayush Batra and Siddharth Kotian and Piyush Modi},
journal= {arXiv preprint arXiv:2207.11033},
year = {2022}
}
备注
Accepted at International Conference on Artificial Intelligence Advances (AIAD 2022)