人机交互中的正演与反演模型：用于推断三维手指姿态的物理仿真与深度学习
人机交互
2021-09-09 v1 机器学习
摘要
我们概述了正演与反演建模方法在人机交互（HCI）系统设计中的作用。因果性正演模型往往更易指定与仿真，但 HCI 需要反问题的解。我们利用能在屏幕上方最多 5cm 处感知手指的电容传感器，在移动设备上推断手指的三维位置 与姿态（俯仰与偏航）。我们使用机器学习基于以下训练数据开发数据驱动模型以推断位置、姿态与传感器读数：1. 机器人生成的数据，2. 静电仿真器数据，3. 人类生成的数据。机器学习仿真将静电仿真性能加速了数百万倍。我们将条件变分自编码器与领域专业知识/模型及实验收集数据相结合。我们比较了正演与反演模型方法对手指姿态直接推断的差异。该组合给出了在移动设备上利用电容传感器推断三维位置与姿态的最准确报道结果。
引用
@article{arxiv.2109.03366,
title = {Forward and Inverse models in HCI:Physical simulation and deep learning for inferring 3D finger pose},
author = {Roderick Murray-Smith and John H. Williamson and Andrew Ramsay and Francesco Tonolini and Simon Rogers and Antoine Loriette},
journal= {arXiv preprint arXiv:2109.03366},
year = {2021}
}