EgoObjects：面向细粒度物体理解的大规模第一人称数据集
计算机视觉与模式识别
2023-09-19 v1
摘要
第一人称视觉数据中的物体理解可以说是第一人称视觉中的基础研究课题。然而，现有的物体数据集要么不是第一人称的，要么在物体类别、视觉内容和标注粒度方面存在局限。在本工作中，我们引入了 EgoObjects，一个面向细粒度物体理解的大规模第一人称数据集。其 Pilot 版本包含由来自 50 多个国家的 250 名参与者使用 4 种可穿戴设备收集的超过 9K 个视频，以及来自 368 个物体类别的超过 650K 个物体标注。与仅包含物体类别标签的先前数据集不同，EgoObjects 还为每个物体标注了实例级标识符，并包含超过 14K 个独特物体实例。EgoObjects 旨在在不同背景复杂度、周围物体、距离、光照和相机运动下捕捉同一物体。在数据收集的同时，我们通过开发多阶段联邦标注流程来进行数据标注，以适应数据集不断增长的性质。为启动对 EgoObjects 的研究，我们提出了一套围绕第一人称物体理解的 4 个基准任务，包括一个新颖的实例级和经典的类别级物体检测。此外，我们还引入了 2 个新颖的持续学习物体检测任务。数据集和 API 可在 https://github.com/facebookresearch/EgoObjects 获取。
引用
@article{arxiv.2309.08816,
title = {EgoObjects: A Large-Scale Egocentric Dataset for Fine-Grained Object Understanding},
author = {Chenchen Zhu and Fanyi Xiao and Andres Alvarado and Yasmine Babaei and Jiabo Hu and Hichem El-Mohri and Sean Chang Culatana and Roshan Sumbaly and Zhicheng Yan},
journal= {arXiv preprint arXiv:2309.08816},
year = {2023}
}
备注
ICCV 2023 final version and supplement. See more details in project page: https://github.com/facebookresearch/EgoObjects