OCTScenes：面向以对象为中心学习的通用真实世界桌面场景数据集
计算机视觉与模式识别
2023-09-07 v3
摘要
人类拥有以组合方式理解场景的认知能力。为赋予AI系统类似能力，以对象为中心的学习旨在无需任何监督地从视觉场景中获取单个对象的表示。尽管以对象为中心的学习近期在复杂合成数据集上取得显著进展，但应用于复杂真实世界场景仍面临巨大挑战。其中一个重要原因是缺乏专门面向以对象为中心学习的真实世界数据集。为解决此问题，我们提出一个面向以对象为中心学习的通用真实世界桌面场景数据集OCTScenes，其精心设计为比较、评估和分析以对象为中心的学习方法提供基准。OCTScenes包含5000个桌面场景，共15个对象。每个场景以覆盖360度视角的60帧捕获。因此，OCTScenes是一个可同时满足基于单图像、视频和多视图的以对象为中心学习方法评估的通用基准数据集。我们在OCTScenes上对代表性以对象为中心学习方法进行了充分实验。结果表明，尽管最先进方法在复杂合成数据集上表现优异，但从真实世界数据学习有意义表示方面存在不足。此外，OCTScenes可作为现有方法进步的催化剂，启发它们适应真实世界场景。数据集与代码见 https://huggingface.co/datasets/Yinxuan/OCTScenes。
引用
@article{arxiv.2306.09682,
title = {OCTScenes: A Versatile Real-World Dataset of Tabletop Scenes for Object-Centric Learning},
author = {Yinxuan Huang and Tonglin Chen and Zhimeng Shen and Jinghao Huang and Bin Li and Xiangyang Xue},
journal= {arXiv preprint arXiv:2306.09682},
year = {2023}
}