基于卷积神经网络的手势识别优化与无缝UI交互
人机交互
2024-11-26 v1
摘要
本研究引入一种基于深度学习的高级手势识别与用户界面（UI）交互系统，凸显了其在UI设计和功能方面的变革性影响。通过利用优化后的卷积神经网络（CNN），该系统实现了高精度的手势识别，显著提升了与数字界面用户的交互。该过程从预处理收集的手势图像以满足CNN输入要求开始，随后采用精细的特征提取和分类技术。为解决类别不平衡问题，我们采用焦点损失（Focal Loss）作为损失函数，确保模型在各类手势类型上都能稳健地运行。实验结果显示，随着从更简单如VGG16的模型迁移到更先进的DenseNet等级制，模型指标（以AUC和召回率为度量）均取得显著提升。我们增强的模型实现了优异的AUC和召回率，超越了标准基准。值得注意的是，系统对实时且高效手势识别的支持，为下一代UI设计开辟了新篇章，使得人类直观的手势能够无缝融入日常技术使用中，降低学习曲线并提升用户满意度。这种发展的意义远超技术性能，深刻重塑了用户与技术之间的互动，凸显了基于手势的界面在下一代UI发展中的关键作用。此类进步有望显著提升智能生活体验，将手势识别定位为用户导向界面演进的关键驱动力。
引用
@article{arxiv.2411.15598,
title = {Optimizing Gesture Recognition for Seamless UI Interaction Using Convolutional Neural Networks},
author = {Qi Sun and Tong Zhang and Shang Gao and Liuqingqing Yang and Fenghua Shao},
journal= {arXiv preprint arXiv:2411.15598},
year = {2024}
}