RoboSense：面向拥挤和非结构化环境中以自我为中心视角的机器人感知与导航的大规模数据集与基准
计算机视觉与模式识别
2025-03-06 v5 人工智能
摘要
可靠地从自我中心视角获取感知信息具有挑战性，却是智能移动代理自主导航技术的关键。随着社交机器人需求的增长，近场场景理解成为与导航相关的自我感知任务在拥挤和非结构化环境中重要的研究主题。由于环境条件的复杂性以及由于截断和遮挡导致的周围障碍难以把握，该情境下的感知能力仍不理想。为进一步提升移动机器人的智能水平，本文构建了一个基于 3 种主要传感器类型（摄像头、LiDAR 和鱼眼）的自我感知多传感器数据采集平台，支持灵活的传感器配置，以实现从自我视角捕获近处或较远区域的动态视野。同时，构建了一个大规模多模态数据集，命名为 RoboSense，以促进自我感知机器人。具体而言，RoboSense 包含超过 133K 同步数据，标注了 1.4M 个 3D 边界框和 ID，覆盖全 视野，形成 216K 条轨迹，跨越 7.6K 条时间序列。其对近距离周围障碍的标注数量是面向自动驾驶场景如 KITTI 和 nuScenes 的现有数据集的 和 。此外，我们定义了一个用于近场 3D 感知和预测的新颖匹配准则。基于 RoboSense，我们定义了 6 个流行任务，以促进未来研究发展，其中也提供了详细分析和基准测试。已对数据进行脱敏处理，以保护隐私。
引用
@article{arxiv.2408.15503,
title = {RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments},
author = {Haisheng Su and Feixiang Song and Cong Ma and Wei Wu and Junchi Yan},
journal= {arXiv preprint arXiv:2408.15503},
year = {2025}
}
备注
Accepted to CVPR2025