人机协作中自适应智能与计算机视觉的基准测试
机器人学
2024-10-22 v1 计算机视觉与模式识别
人机交互
机器学习
摘要
人机协作（HRC）在工业4.0中至关重要，它利用传感器、数字孪生、协作机器人（cobots）和意图识别模型来实现高效制造流程。然而，概念漂移是一个重大挑战，机器人难以适应新环境。我们通过整合自适应智能和自标注（SLB）来解决概念漂移问题，以提高HRC系统中意图识别的鲁棒性。我们的方法从使用摄像头和重量传感器收集数据开始，随后对意图和状态变化进行标注。然后，我们使用不同的预处理技术训练各种深度学习模型，用于识别和预测意图。此外，我们开发了一种自定义状态检测算法，以提高SLB的准确性，提供精确的状态变化定义和时间戳来标注意图。我们的结果表明，采用骨骼姿态预处理的MViT2模型在我们的数据环境中达到了83%的准确率，而未经骨骼姿态提取的MViT2准确率为79%。此外，我们的SLB机制达到了91%的标注准确率，显著减少了手动标注所需的时间。最后，我们观察到模型性能的快速扩展，通过在具有与原始训练环境关键差异的偏移域中对不同增量的自标注数据进行微调，来对抗概念漂移。本研究展示了通过我们方法中的步骤在制造业中快速部署智能协作机器人的潜力，为更具适应性和高效性的HRC系统铺平了道路。
引用
@article{arxiv.2409.19856,
title = {Benchmarking Adaptive Intelligence and Computer Vision on Human-Robot Collaboration},
author = {Salaar Saraj and Gregory Shklovski and Kristopher Irizarry and Jonathan Vet and Yutian Ren},
journal= {arXiv preprint arXiv:2409.19856},
year = {2024}
}
备注
7 Pages, 9 Figures. 14 References. Submitted to IEEE RA-L Journal and ICRA 2025 Conference. This work has been submitted to the IEEE for possible publication