TapNet:用于离屏移动输入的多任务学习 CNN 的设计、训练、实现与应用
人机交互
2021-02-19 v1 机器学习
摘要
为使无需专用硬件的离屏交互切实可行,我们研究使用深度学习方法将手机上常见的内置 IMU 传感器(加速度计和陀螺仪)处理为一组有用单手交互事件。我们提出了 TapNet 的设计、训练、实现与应用,这是一个检测手机敲击的多任务网络。以手机外形尺寸作为辅助信息,TapNet 可跨设备联合学习数据并同时识别多种敲击属性,包括敲击方向与敲击位置。我们构建了两个数据集,包含超过 135K 训练样本、38K 测试样本以及共计 32 名参与者。实验评估证明了 TapNet 设计的有效性及其相对于当前最优方法的显著改进。连同数据集(https://sites.google.com/site/michaelxlhuang/datasets/tapnet-dataset)与大量实验,TapNet 为离屏移动输入建立了新的技术基础。
引用
@article{arxiv.2102.09087,
title = {TapNet: The Design, Training, Implementation, and Applications of a Multi-Task Learning CNN for Off-Screen Mobile Input},
author = {Michael Xuelin Huang and Yang Li and Nazneen Nazneen and Alexander Chao and Shumin Zhai},
journal= {arXiv preprint arXiv:2102.09087},
year = {2021}
}
备注
10 pages. CHI 2021