面向基于手势的人机交互的改进光流方法

手势交互是替代语音与机器人通信的一种自然方式。手势识别方法利用光流来理解人体运动。然而，虽然精确的光流估计（即传统）方法在运行时间上代价高昂，快速估计（即深度学习）方法的精度仍有提升空间。本文提出了一种用于基于手势的人机交互的流程，其采用一种新颖的光流估计方法，以实现更好的速度-精度权衡。我们的光流估计方法对先前基于深度学习的方法引入了四项改进：强特征提取器、对轮廓的注意力机制、中间特征，以及这三者的组合。这带来对运动更好的理解，以及更精细的剪影表示。为评估我们的流程，我们生成了自有数据集 MIBURI，其中包含用于指挥家用服务机器人的手势。在实验中，我们展示了我们的方法不仅改进了光流估计，也改进了手势识别，提供了对实际机器人应用更现实的速度-精度权衡。