支持 DirectX 的 MotionInput v2.0：基于手势的机器学习与计算机视觉开源模块库，利用网络摄像头交互并控制现有软件

在 COVID-19 疫情期间，非接触式计算机交互已成为一项重要考量。尽管机器学习与计算机视觉在高级手势识别方面取得了进展，但仍然缺乏此类开源方法的集成集合，以及一种允许用户自定义、利用低成本方案在现有软件中实现非接触交互的途径。本文介绍了 MotionInput v2.0 应用程序。该应用利用已发表的开源库及额外开发的手势定义，将标准 RGB 网络摄像头的视频流作为输入，随后将人体运动手势映射为现有应用程序和游戏的输入操作。用户可以从一系列运动类型中选择自己偏好的交互方式，包括单手与双手手势、全身重复性或基于肢体的运动、头部与面部动作、眼动追踪及其组合。我们还引入了一系列定制的手势识别分类作为 DirectInput 触发器，包括用于空闲状态、自动校准、从 2D RGB 网络摄像头流中捕获深度，以及追踪嘴部动作、眨眼和带有旋转的头部方向等面部运动的手势。三个用例领域辅助了模块的开发：创意软件、办公与临床软件以及游戏软件。一系列开源库已被集成，并通过 DirectX 在 Windows 现有的鼠标和键盘控制之上提供了一层模块化的手势映射。借助大多数笔记本电脑和台式电脑内置的易于访问的网络摄像头，MotionInput v2.0 以联邦式和本地处理的方式使非接触式计算更加普及。