PEGASUS：用于生成6DoF物体姿态数据集的物理增强高斯泼溅仿真系统
计算机视觉与模式识别
2024-07-16 v2
摘要
我们引入了用于生成6DoF物体姿态数据集的物理增强高斯泼溅仿真系统（PEGASUS），这是一个基于3D Gaussian Splatting的多功能数据集生成器。使用商用相机即可轻松获取环境与物体的表示，并通过Gaussian Splatting进行重建。<i>PEGASUS</i> 允许通过将环境的底层Gaussian Splatting点云与一个或多个物体合并来组合新场景。借助物理引擎，能够通过为物体和环境提取的网格之间的交互，模拟物体在场景中的自然放置。因此，通过组合不同的环境和物体，可以创建大量静态或动态的新场景。通过从不同视角渲染场景，可以提取多种数据，如RGB图像、深度图、语义掩码和6DoF物体姿态。我们的研究表明，使用PEGASUS生成的数据进行训练，使得位姿估计网络能够成功从合成数据迁移到真实世界数据。此外，我们引入了Ramen数据集，包含30种日本杯面物品。该数据集包含从物体半球捕获图像的球形扫描以及Gaussian Splatting重建，使其与PEGASUS兼容。
引用
@article{arxiv.2401.02281,
title = {PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DoF Object Pose Dataset Generation},
author = {Lukas Meyer and Floris Erich and Yusuke Yoshiyasu and Marc Stamminger and Noriaki Ando and Yukiyasu Domae},
journal= {arXiv preprint arXiv:2401.02281},
year = {2024}
}
备注
Project Page: https://meyerls.github.io/pegasus_web