TH"OR-MAGNI Act：面向人机共享工业空间的人体动作建模数据集
机器人学
2024-12-25 v2 人机交互
机器学习
摘要
准确的人体活动和轨迹预测对于确保在工业环境等动态环境中与移动机器人安全可靠的人机交互至关重要。带有工业环境中移动人员细粒度动作标签的数据集非常稀缺，因为大多数现有数据集侧重于公共空间中的社交导航。本文介绍了 TH"OR-MAGNI Act 数据集，它是 TH"OR-MAGNI 数据集的一个实质性扩展，捕获了参与者在多样化语义和空间背景下与机器人一起的运动。TH"OR-MAGNI Act 提供了 8.3 小时通过眼动追踪眼镜记录的第一视角视频人工标注的参与者动作。这些动作与提供的 TH"OR-MAGNI 运动线索对齐，呈现长尾分布，并具有多样化的加速度、速度和导航距离分布。我们展示了 TH"OR-MAGNI Act 在两个任务上的效用：基于动作的轨迹预测和动作与轨迹联合预测。我们提出了两个高效的基于 Transformer 的模型来解决这些任务，其表现优于基线。这些结果突显了 TH"OR-MAGNI Act 在开发预测模型以增强复杂环境中人机交互方面的潜力。
引用
@article{arxiv.2412.13729,
title = {TH\"OR-MAGNI Act: Actions for Human Motion Modeling in Robot-Shared Industrial Spaces},
author = {Tiago Rodrigues de Almeida and Tim Schreiter and Andrey Rudenko and Luigi Palmieiri and Johannes A. Stork and Achim J. Lilienthal},
journal= {arXiv preprint arXiv:2412.13729},
year = {2024}
}
备注
This paper has been accepted to the the 20th edition of the IEEE/ACM International Conference on Human-Robot Interaction (HRI'25), which will be held in Melbourne, Australia on March 4-6, 2025. Code: https://github.com/tmralmeida/thor-magni-actions