“别忘了把牛奶放回去！”用于使具身智能体检测异常情况的数据集
机器人学
2024-10-16 v1 计算机视觉与模式识别
摘要
家庭机器人旨在让用户的生活更轻松。我们的工作通过使机器人能够向用户通报家中危险或不卫生的异常情况来协助实现这一目标。这些异常情况的示例包括用户将牛奶留在外面、忘记关炉子或将毒物放在儿童可触及的地方。为了使家庭机器人具备这些能力，我们创建了一个新数据集，我们称之为 SafetyDetect。SafetyDetect 数据集包含 1000 个异常家庭场景，每个场景都包含供智能体检测的不安全或不卫生情况。我们的方法利用大型语言模型（LLM）以及场景的图表示和场景中对象之间的关系。我们的关键洞察是，这种连接的场景图及其编码的对象关系使 LLM 能够更好地对场景进行推理——尤其是在检测危险或不卫生情况方面。我们最有前景的方法利用 GPT-4 并采用一种分类技术，将场景图中的对象关系分类为正常、危险、不卫生或对儿童危险。该方法能够正确识别 SafetyDetect 数据集中超过 90% 的异常场景。此外，我们在 ClearPath TurtleBot 上进行了真实世界实验，其中我们从真实世界场景的视觉信息生成场景图，并在未经修改的情况下运行我们的方法。该设置几乎没有导致性能损失。SafetyDetect 数据集和代码将在本文发表后向公众发布。
引用
@article{arxiv.2404.08827,
title = {"Don't forget to put the milk back!" Dataset for Enabling Embodied Agents to Detect Anomalous Situations},
author = {James F. Mullen and Prasoon Goyal and Robinson Piramuthu and Michael Johnston and Dinesh Manocha and Reza Ghanadan},
journal= {arXiv preprint arXiv:2404.08827},
year = {2024}
}