ObjectFolder 基准:基于神经对象与真实物体的多感官学习
计算机视觉与模式识别
2023-06-02 v1 人工智能
图形学
人机交互
机器人学
摘要
我们引入 ObjectFolder Benchmark,一个包含 10 项任务的多感官以对象为中心的学习基准套件,围绕借助视觉、听觉与触觉的对象识别、重建与操控展开。我们还引入了 ObjectFolder Real 数据集,包含 100 个真实世界家居物体的多感官测量,其构建基于新设计的采集管线,用于收集真实物体的三维网格、视频、撞击声与触觉读数。我们在来自 ObjectFolder 的 1,000 个多感官神经对象以及来自 ObjectFolder Real 的真实多感官数据上进行了系统性基准测试。我们的结果证明了多感官感知的重要性,并揭示了视觉、听觉与触觉对于不同以对象为中心学习任务的各自作用。通过公开发布我们的数据集与基准套件,我们希望催化并赋能计算机视觉、机器人学及更广领域中多感官以对象为中心学习的新研究。项目主页:https://objectfolder.stanford.edu
引用
@article{arxiv.2306.00956,
title = {The ObjectFolder Benchmark: Multisensory Learning with Neural and Real Objects},
author = {Ruohan Gao and Yiming Dou and Hao Li and Tanmay Agarwal and Jeannette Bohg and Yunzhu Li and Li Fei-Fei and Jiajun Wu},
journal= {arXiv preprint arXiv:2306.00956},
year = {2023}
}
备注
In CVPR 2023. Project page: https://objectfolder.stanford.edu/. ObjectFolder Real demo: https://www.objectfolder.org/swan_vis/. Gao, Dou, and Li contributed equally to this work