Aria Digital Twin：一种用于以自我为中心的 3D 机器感知的新基准数据集
计算机视觉与模式识别
2023-06-14 v2 人工智能
机器学习
摘要
我们介绍了 Aria Digital Twin (ADT)——一个使用 Aria 眼镜捕获的、带有丰富物体、环境与人体级别真值的以自我为中心的数据集。本次发布的 ADT 包含 200 段由 Aria 佩戴者在两个真实室内场景中进行的真实世界活动序列，涉及 398 个物体实例（324 个静止，74 个动态）。每段序列包括：a) 两个单色相机流、一个 RGB 相机流、两个 IMU 流原始数据；b) 完整的传感器标定；c) 真值数据，包括 Aria 设备的连续六自由度 (6DoF) 位姿、物体 6DoF 位姿、3D 视线向量、3D 人体姿态、2D 图像分割、图像深度图；以及 d) 照片级真实感合成渲染。据我们所知，现有以自我为中心的数据集在精度、照片真实感与全面性上均无法与 ADT 相比。通过将 ADT 贡献给研究社区，我们的使命是为以自我为中心的机器感知领域树立新的评估标准，该领域包含诸如 3D 物体检测与跟踪、场景重建与理解、sim-to-real 学习、人体姿态预测等极具挑战的研究问题——同时也为增强现实 (AR) 应用启发新的机器感知任务。为启动对 ADT 研究用例的探索，我们评估了几种现有的 SOTA 方法在物体检测、分割与图像翻译任务上的表现，证明了 ADT 作为基准数据集的实用性。
引用
@article{arxiv.2306.06362,
title = {Aria Digital Twin: A New Benchmark Dataset for Egocentric 3D Machine Perception},
author = {Xiaqing Pan and Nicholas Charron and Yongqian Yang and Scott Peters and Thomas Whelan and Chen Kong and Omkar Parkhi and Richard Newcombe and Carl Yuheng Ren},
journal= {arXiv preprint arXiv:2306.06362},
year = {2023}
}