从检测到动作识别：面向机器人人类感知的端侧流水线

移动服务机器人在医疗保健、日常活动监测和辅助生活等众多应用中正展现出日益增强的有效性。这些机器人严重依赖人类动作识别来解释人类动作与意图。然而，为了使 HAR 在服务机器人上有效运行，需要预先获取人类存在的先验知识（人类检测）并识别待监测的个体（人类跟踪）。在本工作中，我们提出了一条端到端流水线，涵盖了从人类检测与跟踪到动作识别的整个过程。该流水线被设计为在近实时下运行，同时确保所有处理阶段均在边缘端执行，从而减少对集中式计算的需求。为了为我们的移动机器人确定最合适的模型，我们进行了一系列实验，基于检测性能和效率比较了 SOTA 解决方案。为了评估所提流水线的有效性，我们提出了一个包含日常家庭活动的数据集。通过展示我们的发现并分析结果，我们证明了我们的方法在主要依赖 RGB 摄像头数据的真实场景中，能够使移动机器人理解并响应人类行为方面的有效性。