EFM3D：衡量向 3D 站立式基础模型进程的基准
计算机视觉与模式识别
2024-06-17 v1
摘要
可穿戴计算机的出现为 AI 提供了一种嵌入站立式传感器数据中的新型情境。这种新的站立式数据具备细粒度的 3D 位置信息，从而为建立以 3D 空间为根基的新型空间基础模型提供了机会。为了衡量我们所称的站立式基础模型（Egocentric Foundation Models, EFMs）的进程，我们建立了 EFM3D，一个包含两个核心 3D 站立式感知任务的基准。EFM3D 是首个针对 Project Aria 高质量标注的站立式数据进行 3D 目标检测和表面回归的基准。我们提出了站立式体素提升（Egocentric Voxel Lifting, EVL），作为 3D EFMs 的基线。EVL 利用所有可用的站立式模态，并继承了 2D 基础模型的基础能力。该模型在大型模拟数据集上进行训练， 在 EFM3D 基准上优于现有方法。
引用
@article{arxiv.2406.10224,
title = {EFM3D: A Benchmark for Measuring Progress Towards 3D Egocentric Foundation Models},
author = {Julian Straub and Daniel DeTone and Tianwei Shen and Nan Yang and Chris Sweeney and Richard Newcombe},
journal= {arXiv preprint arXiv:2406.10224},
year = {2024}
}