ObjectFolder：具有隐式视觉、听觉与触觉表征的物体数据集
机器人学
2021-11-09 v3 计算机视觉与模式识别
图形学
机器学习
摘要
多感官以物体为中心的感知、推理与交互近年来已成为一个关键研究课题。然而，这些方向的研究进展受限于可用物体集合的狭小——合成物体不够真实且大多围绕几何形状，而 YCB 等真实物体数据集常因国际运输、库存与财务成本而在获取上实际困难且不稳定。我们提出 ObjectFolder，一个包含 100 个虚拟化物体的数据集，通过两项关键创新解决上述两方面挑战。首先，ObjectFolder 为所有物体编码了视觉、听觉与触觉感官数据，支持大量多感官物体识别任务，超越了现有仅关注物体几何的数据集。其次，ObjectFolder 对每个物体的视觉纹理、声学模拟与触觉读数采用统一的、以物体为中心的隐式表征，使数据集使用灵活且易于共享。我们通过在多种基准任务（包括实例识别、跨感官检索、三维重建与机器人抓取）上的评估，展示了该数据集作为多感官感知与控制测试平台的有用性。
引用
@article{arxiv.2109.07991,
title = {ObjectFolder: A Dataset of Objects with Implicit Visual, Auditory, and Tactile Representations},
author = {Ruohan Gao and Yen-Yu Chang and Shivani Mall and Li Fei-Fei and Jiajun Wu},
journal= {arXiv preprint arXiv:2109.07991},
year = {2021}
}
备注
In CoRL 2021. Chang and Mall contributed equally to this work. Project page: https://ai.stanford.edu/~rhgao/objectfolder/