基于增强现实的人体辅助系统中融合物体与姿态到任务检测的神经网络方法

随着工业日益自动化与数字化，流程正变得愈发复杂。增强现实在通过空间信息增强用户理解与体验来辅助工人完成复杂任务方面已展现出可观潜力。然而，由于缺乏成熟方法与繁琐的集成工作，AR 在工业流程中的接受度与集成度仍然有限。与此同时，深度神经网络在计算机视觉任务中取得了显著成果，并极有前景地丰富增强现实应用。在本文中，我们提出了一种基于增强现实的人体辅助系统，用于在复杂手工任务中辅助工人，其中我们引入了深度神经网络来处理计算机视觉任务。更具体地，我们将增强现实与物体及动作检测器相结合，使工作流更直观且灵活。为从用户接受度与效率方面评估我们的系统，我们开展了若干用户研究。我们发现未受训工人的任务完成时间显著减少且错误率下降。此外，我们考察了用户使用我们辅助系统的学习曲线。