利用信息论实现手动活动的直观机器人编程
机器人学
2025-01-08 v2
摘要
观察学习是一种很有前景的方法，它能让没有编程专业知识的人以用户友好的方式将技能传授给机器人，因为它模仿了人类通过观察他人来学习新行为的方式。许多现有方法侧重于指导机器人模仿人类的轨迹，但运动层面的策略常常给技能在不同环境中的泛化带来挑战。本文提出了一个新颖的框架，使机器人能够对 RGB 视频中记录的人类演示手动任务实现更高层次的理解。通过识别任务结构和目标，机器人可以将观察到的内容泛化到未见过的场景中。我们发现我们的任务表征建立在香农信息论（IT）的基础上，这是该理论首次应用于手动任务。IT 有助于提取场景中的活跃元素，并量化手与物体之间共享的信息。我们利用场景图属性将提取的交互特征编码到一个紧凑的结构中，并将演示分割成块，从而简化了用于机器人复现的行为树的生成。实验验证了 IT 从单次人类演示中自动生成机器人执行计划的有效性。此外，我们还提供了 HANDSOME，一个包含多主体演示的手部技能开源数据集，以促进该领域的进一步研究和评估。
引用
@article{arxiv.2410.23963,
title = {Exploiting Information Theory for Intuitive Robot Programming of Manual Activities},
author = {Elena Merlo and Marta Lagomarsino and Edoardo Lamon and Arash Ajoudani},
journal= {arXiv preprint arXiv:2410.23963},
year = {2025}
}