利用 iCub 机器人观测数据学习人类伙伴的次级工具 affordances
机器人学
2024-07-17 v1 机器学习
摘要
对象，特别是工具，为能够与之进行作用的代理人提供了多种可能的动作方式，这些动作通常与“affordances”这一术语相关联。工具通常被设计用于特定目的，例如锤子用于敲击钉子，我们称之为 primary affordance。工具还可被用于 primary 目的之外的用途，这时我们可将这种辅助用途与 secondary affordance 术语相关联。先前的工具感知和学习研究主要聚焦于 primary affordance。本文旨在解决学习人类伙伴次级工具 affordance 的问题。为此，我们使用 iCub 机器人观察人类伙伴，这些伙伴在四个不同工具下对二十个对象进行动作。在我们的实验中，人类伙伴使用工具执行不对应于其 primary affordance 的动作。例如，iCub 机器人观察到人类伙伴使用尺子来推、拉和移动对象，而不是测量长度。在这种设置下，我们通过记录每个动作执行前后对象位置的图像来构建数据集。我们随后在三个神经网络（ResNet-18、ResNet-50 和 ResNet-101）上进行训练，这些网络分别在三个任务上训练：(1) 预测用于移动对象的工具；(2) 预测在额外包含动作类型编码的 categorical 输入下的工具；(3) 同时预测用于移动对象的工具和执行的动作。我们的结果表明，深度学习架构使 iCub 机器人能够预测次级工具 affordance，从而为涉及复杂 affordance 的人机协作对象操作铺平了道路。
引用
@article{arxiv.2407.11922,
title = {Learning secondary tool affordances of human partners using iCub robot's egocentric data},
author = {Bosong Ding and Erhan Oztop and Giacomo Spigler and Murat Kirtay},
journal= {arXiv preprint arXiv:2407.11922},
year = {2024}
}