用于增强工业任务监控和参与度预测的多模态数据集
计算机视觉与模式识别
2025-01-13 v1
摘要
在动态工业工作流程中检测和解释操作员动作、参与度和物体交互，仍然是人类-机器人协作研究中的一个重大挑战，尤其是在复杂的现实环境中。传统的单模态方法往往无法捕捉这些非结构化工业环境的复杂性。为了弥补这一空白，我们提出了一个新颖的多模态工业活动监控数据集，该数据集捕捉了真实的装配和拆卸任务，便于评估关键元任务，如动作定位、物体交互和参与度预测。该数据集包含来自22个会话的多视角RGB、深度和惯性测量单元数据，共计290分钟未修剪视频，并对任务表现和操作员行为进行了详细标注。其独特性在于多种数据模态的集成以及对真实世界未修剪工业工作流程的强调——这对于推进人类-机器人协作和操作员监控研究至关重要。此外，我们提出了一种多模态网络，融合RGB帧、IMU数据和骨架序列，以预测工业任务中的参与度水平。我们的方法提高了识别参与状态的准确性，为在动态工业环境中监控操作员表现提供了稳健的解决方案。数据集和代码可从https://github.com/navalkishoremehta95/MIAM/获取。
引用
@article{arxiv.2501.05936,
title = {A Multimodal Dataset for Enhancing Industrial Task Monitoring and Engagement Prediction},
author = {Naval Kishore Mehta and Arvind and Himanshu Kumar and Abeer Banerjee and Sumeet Saurav and Sanjay Singh},
journal= {arXiv preprint arXiv:2501.05936},
year = {2025}
}
备注
Accepted at the 20th International Conference on Human-Robot Interaction (HRI) 2025