Shaken, Not Stirred：人类-机器人调酒任务中眼镜视觉理解的新型数据集
机器人学
2025-09-12 v3 计算机视觉与模式识别
摘要
用于对象检测的数据集通常未充分考虑眼镜的多样性，这是由于眼镜的透明和反射特性所致。具体而言，广泛用于具身机器人代理的开放词汇目标检测器无法区分眼镜的子类。这一科学空白对在检测、规划和动作执行之间累积错误的机器人应用造成了问题。本文提出了一种从RGB-D传感器获取真实世界数据的新方法，旨在最小化人工操作。我们提出了一种自动标注流水线，根据深度测量为所有获取的帧生成标签。我们提供了一个在神经启发协作机器人（NICOL）人形机器人平台上收集的新型真实世界玻璃物体数据集GlassNICOLDataset。该数据集包含来自五个不同摄像头记录的7850张图像。我们表明训练的基线模型优于最先进的开放词汇方法。此外，我们将基线模型部署到NICOL平台上的具身代理方法中，在人机调酒场景中实现了81%的成功率。
引用
@article{arxiv.2503.04308,
title = {Shaken, Not Stirred: A Novel Dataset for Visual Understanding of Glasses in Human-Robot Bartending Tasks},
author = {Lukáš Gajdošech and Hassan Ali and Jan-Gerrit Habekost and Martin Madaras and Matthias Kerzel and Stefan Wermter},
journal= {arXiv preprint arXiv:2503.04308},
year = {2025}
}
备注
Submitted and Accepted for Presentation at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2025