JRDB：建成环境中以自我为中心机器人对人视觉感知的数据集与基准
计算机视觉与模式识别
2021-04-27 v4 机器人学
摘要
我们提出 JRDB，一个从我们的社交移动操纵机器人 JackRabbot 采集的新型以自我为中心的数据集。该数据集包含 64 分钟标注的多模态传感器数据，包括 15 fps 的立体柱面 360 RGB 视频、来自两个 Velodyne 16 激光雷达的 3D 点云、来自两个 Sick 激光雷达的线 3D 点云、音频信号、30 fps 的 RGB-D 视频、来自鱼眼相机的 360 球面图像以及机器人轮子的编码器值。我们的数据集包含了传统上代表性不足的场景数据，如室内环境与行人区域，且均来自机器人自身视角，包含静止与导航状态。该数据集已在 5 个独立相机上标注了超过 230 万个边界框，以及场景中所有人周围关联的 180 万个 3D 长方体，总计超过 3500 条时间一致轨迹。连同我们的数据集与标注，我们发布了用于 2D 与 3D 行人检测及跟踪的基准与度量。借助该数据集（我们计划未来扩展更多标注类型），我们希望为以自我为中心的机器人视觉、自主导航以及人类环境中社交机器人相关所有感知任务的研究提供新的数据来源与测试平台。
引用
@article{arxiv.1910.11792,
title = {JRDB: A Dataset and Benchmark of Egocentric Robot Visual Perception of Humans in Built Environments},
author = {Roberto Martín-Martín and Mihir Patel and Hamid Rezatofighi and Abhijeet Shenoi and JunYoung Gwak and Eric Frankel and Amir Sadeghian and Silvio Savarese},
journal= {arXiv preprint arXiv:1910.11792},
year = {2021}
}