Helios：面向全天候智能眼镜的极低功耗事件驱动手势识别系统
计算机视觉与模式识别
2024-08-27 v4 人机交互
机器学习
摘要
本文介绍了Helios，这是首个专为全天候智能眼镜设计的极低功耗、实时、事件驱动的手势识别系统。随着增强现实技术的发展，当前的智能眼镜（如Meta Ray-Bans）优先考虑视觉和佩戴舒适度，却牺牲了功能性。这些设备中现有的人机界面，如电容触摸和语音控制，在人机工程学、隐私和功耗方面存在局限性。Helios通过利用自然的手部交互来提供更直观、更舒适的用户体验，从而解决了这些挑战。我们的系统采用一个极低功耗、紧凑的3mmx4mm/20mW事件相机，为全天候智能眼镜执行基于自然手部的手势识别。相机的输出由运行在NXP Nano UltraLite计算平台上的卷积神经网络处理，功耗低于350mW。Helios可以识别七类手势，包括滑动和捏合等细微的微手势，准确率达到91%。我们还在20名用户中展示了实时性能，延迟低至60毫秒。我们的用户测试结果与我们在最近于AWE-USA-2024成功演示中收到的积极反馈一致。
引用
@article{arxiv.2407.05206,
title = {Helios: An extremely low power event-based gesture recognition for always-on smart eyewear},
author = {Prarthana Bhattacharyya and Joshua Mitton and Ryan Page and Owen Morgan and Ben Menzies and Gabriel Homewood and Kemi Jacobs and Paolo Baesso and David Trickett and Chris Mair and Taru Muhonen and Rory Clark and Louis Berridge and Richard Vigars and Iain Wallace},
journal= {arXiv preprint arXiv:2407.05206},
year = {2024}
}
备注
Accepted at ECCV-Integrating Computer Vision in Smart Eyewear, 2024. 18 pages, 10 figures. First three authors contributed equally to this paper