ARKitTrack: 一种使用移动端 RGB-D 数据的新型多样化追踪数据集
计算机视觉与模式识别
2023-03-27 v1
摘要
相较于传统的仅 RGB 视觉追踪,为 RGB-D 追踪构建的数据集甚少。本文中,我们提出 ARKitTrack,一个由 Apple 的 iPhone 与 iPad 所配备的消费级 LiDAR 扫描仪捕获的、涵盖静态与动态场景的新型 RGB-D 追踪数据集。ARKitTrack 包含 300 个 RGB-D 序列、455 个目标以及共计 229.7K 视频帧。除边界框标注与帧级属性外,我们还以 123.9K 像素级目标掩码对该数据集进行了标注。此外,为后续发展提供了每帧的相机内参与相机位姿。为展示该数据集的潜在效用,我们进一步给出了一个面向边界框级与像素级追踪的统一基线,其将 RGB 特征与鸟瞰图表示相融合以更好地探索跨模态 3D 几何。深入的实证分析已验证 ARKitTrack 数据集可显著促进 RGB-D 追踪,且所提基线方法优于当前最优方法。代码与数据集可在 https://arkittrack.github.io 获取。
引用
@article{arxiv.2303.13885,
title = {ARKitTrack: A New Diverse Dataset for Tracking Using Mobile RGB-D Data},
author = {Haojie Zhao and Junsong Chen and Lijun Wang and Huchuan Lu},
journal= {arXiv preprint arXiv:2303.13885},
year = {2023}
}
备注
Accepted by CVPR2023