SynTable：一种用于杂乱桌面场景未见物体非模态实例分割的合成数据生成流水线
计算机视觉与模式识别
2025-05-30 v3
摘要
在本工作中，我们提出 SynTable，一个基于 Python 的统一且灵活的数据集生成器，使用 NVIDIA 的 Isaac Sim Replicator Composer 构建，用于生成高质量合成数据集，以支持杂乱桌面场景中未见物体的非模态实例分割。我们的数据集生成工具能够渲染包含物体网格、材质、纹理、光照和背景的复杂 3D 场景。元数据，如模态与非模态实例分割掩码、物体非模态 RGBA 实例、遮挡掩码、深度图、边界框和材质属性，可根据用户需求自动生成以标注场景。我们的工具消除了数据集生成过程中人工标注的需要，同时保证了数据集的质量与准确性。在本工作中，我们讨论了设计目标、框架架构以及工具的性能。我们展示了使用 SynTable 生成的样本数据集来训练最先进模型 UOAIS-Net 的用例。我们的最先进结果表明，在 OSD-Amodal 数据集上评估时，Sim-to-Real 迁移性能显著提升。我们提供该工具作为开源、易用、照片级真实的数据集生成器，以推进深度学习和合成数据生成的研究。我们的源代码、演示视频和样本数据集的链接可在补充材料中找到。
引用
@article{arxiv.2307.07333,
title = {SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal Instance Segmentation of Cluttered Tabletop Scenes},
author = {Zhili Ng and Haozhe Wang and Zhengshen Zhang and Francis Tay Eng Hock and Marcelo H. Ang},
journal= {arXiv preprint arXiv:2307.07333},
year = {2025}
}
备注
Camera-ready version for SynData4CV Workshop @ CVPR 2025. 18 Pages, 11 figures