“机器人在我不在时做了什么？”视频基础模型增强间歇性监督
机器人学
2024-11-18 v1
摘要
本文探讨了视频基础模型（ViFMs）在生成机器人数据摘要以增强对机器人团队间歇性人工监督中的应用。我们提出了一个新框架，能以三种模态（故事板、短视频和文本）生成长时长机器人视觉数据的通用摘要和查询驱动摘要。通过涉及30名参与者的用户研究，我们评估了这些摘要方法在让操作员准确检索机器人在长时间（40分钟）无监督运行期间发生的观察和动作方面的效果。结果表明，与通用摘要或原始数据相比，查询驱动摘要显著提高了检索准确性，尽管任务耗时增加。发现故事板是最有效的呈现模态，特别是针对物体相关查询。据我们所知，这项工作首次将ViFMs零样本应用于间歇性监督背景下的多模态机器人到人类通信生成，展示了这些模型在人机交互（HRI）场景中的前景与局限。
引用
@article{arxiv.2411.10016,
title = {'What did the Robot do in my Absence?' Video Foundation Models to Enhance Intermittent Supervision},
author = {Kavindie Katuwandeniya and Leimin Tian and Dana Kulić},
journal= {arXiv preprint arXiv:2411.10016},
year = {2024}
}
备注
This work has been submitted to the IEEE RAL for possible publication