设备端实时点头与摇头识别
人机交互
2018-06-14 v1
摘要
我们讨论了教系统识别如点头与摇头等手势的方法。我们使用iPhone X深度相机收集数据，随后将类似数据用作一个可用应用的输入。这些方法在有限数据集训练下已被证明具有鲁棒性，因此我们主张类似方法可被调整以学习其他人与人间的非语言手势。我们展示了如何增广欧拉角手势序列，以训练如LSTM和GRU等参数相对较多的模型，并取得优于所报道的如HMM等较小模型的性能。在此处的示例中，我们演示了如何用Keras训练此类模型，并通过CoreML在设备上端实时运行所得模型。
引用
@article{arxiv.1806.04776,
title = {Real-time on-device nod and shake recognition},
author = {Elmar H. Langholz and Reuben Brasher},
journal= {arXiv preprint arXiv:1806.04776},
year = {2018}
}