MASSTAR：面向表面预测与补全的多模态大规模场景数据集与通用工具链
机器人学
2024-03-19 v1 计算机视觉与模式识别
摘要
表面预测与补全在各种应用中已被广泛研究。最近，表面补全的研究已从小型物体演进到复杂的大规模场景。因此，研究人员开始增加数据量并利用更多样化的数据模态（包括渲染的 RGB 图像、描述性文本、深度图像等）来提升算法性能。然而，现有数据集在场景级模型数量及相应的多模态信息方面存在不足。因此，一种有效扩展数据集并在其中生成多模态信息的方法至关重要。为了填补这一研究空白，我们提出 MASSTAR：一个面向表面预测与补全的多模态大规模场景数据集与通用工具链。我们开发了一个通用且高效的工具链，用于处理来自环境的原始 3D 数据。它筛选出一组细粒度的场景模型，并生成相应的多模态数据。利用该工具链，我们随后生成了一个由一千多个场景级模型组成的示例数据集，并添加了部分真实世界数据。我们将 MASSTAR 与现有数据集进行比较，验证了其优越性：能够从复杂场景中高效提取高质量模型以扩展数据集。此外，几种具有代表性的表面补全算法在 MASSTAR 上进行了基准测试，这表明现有算法很难处理场景级补全。我们将发布工具链和数据集的源代码。更多详情请参见我们的项目页面 https://sysu-star.github.io/MASSTAR 。
引用
@article{arxiv.2403.11681,
title = {MASSTAR: A Multi-Modal and Large-Scale Scene Dataset with a Versatile Toolchain for Surface Prediction and Completion},
author = {Guiyong Zheng and Jinqi Jiang and Chen Feng and Shaojie Shen and Boyu Zhou},
journal= {arXiv preprint arXiv:2403.11681},
year = {2024}
}
备注
Submitted to IROS2024. Code: https://github.com/SYSU-STAR/MASSTAR. Project Page: https://github.com/SYSU-STAR/MASSTAR