ObjectFolder 2.0：用于 Sim2Real 迁移的多感官物体数据集
计算机视觉与模式识别
2022-04-06 v1 机器学习
机器人学
声音
音频与语音处理
摘要
物体在我们的日常活动中起着关键作用。尽管多感官以物体为中心的学习近来展现出巨大潜力，但先前工作对物体的建模相当不真实。ObjectFolder 1.0 是近期引入的包含 100 个虚拟化物体及其视觉、听觉和触觉感官数据的数据集。然而，该数据集规模较小且多感官数据质量有限，阻碍了向真实场景的泛化。我们提出 ObjectFolder 2.0，一个以隐式神经表示形式呈现的大规模常见家庭物体多感官数据集，在三个方面显著增强 ObjectFolder 1.0。首先，我们的数据集在物体数量上扩大 10 倍，渲染速度提升数个数量级。其次，我们显著提升了所有三种模态的多感官渲染质量。第三，我们展示了从本数据集中虚拟物体学习的模型，在三项挑战性任务中成功迁移至其真实对应物：物体尺度估计、接触定位与形状重建。ObjectFolder 2.0 为计算机视觉与机器人学中的多感官学习提供了新路径与测试平台。数据集可在 https://github.com/rhgao/ObjectFolder 获取。
引用
@article{arxiv.2204.02389,
title = {ObjectFolder 2.0: A Multisensory Object Dataset for Sim2Real Transfer},
author = {Ruohan Gao and Zilin Si and Yen-Yu Chang and Samuel Clarke and Jeannette Bohg and Li Fei-Fei and Wenzhen Yuan and Jiajun Wu},
journal= {arXiv preprint arXiv:2204.02389},
year = {2022}
}
备注
In CVPR 2022. Gao, Si, and Chang contributed equally to this work. Project page: https://ai.stanford.edu/~rhgao/objectfolder2.0/