在腕戴设备上实现手势定制
人机交互
2022-04-20 v2 人工智能
摘要
我们提出了一个仅需用户极少示例且不降低现有手势集性能的手势定制框架。为实现此目标，我们首先开展了一项大规模研究（N=500+）以收集数据并训练一个加速度计-陀螺仪识别模型，该模型在每日非手势数据上测试时跨用户准确率为95.7%，每小时误报率为0.6。接下来，我们设计了一个少样本学习框架，从我们的预训练模型派生出一个轻量模型，实现知识迁移而无性能下降。我们通过一项用户研究（N=20）验证我们的方法，考察来自12个新手势的设备端定制，在添加一个新手势时使用一、三或五次样本分别达到平均准确率55.3%、83.1%和87.2%，同时保持原有手势集相同的识别准确率和误报率。我们进一步通过用户体验研究（N=20）评估我们实时实现的可用性。我们的结果凸显了定制框架的有效性、可学习性和可用性。我们的方法为这样一个未来铺平了道路：用户不再受限于预存手势，而是可以自由地根据其偏好和能力创造性地引入新手势。
引用
@article{arxiv.2203.15239,
title = {Enabling hand gesture customization on wrist-worn devices},
author = {Xuhai Xu and Jun Gong and Carolina Brum and Lilian Liang and Bongsoo Suh and Kumar Gupta and Yash Agarwal and Laurence Lindsey and Runchang Kang and Behrooz Shahsavari and Tu Nguyen and Heriberto Nieto and Scott E. Hudson and Charlie Maalouf and Seyed Mousavi and Gierad Laput},
journal= {arXiv preprint arXiv:2203.15239},
year = {2022}
}
备注
Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems