基于粒度一致性自动2D掩码跟踪的类无关3D分段

3D实例分段是实际应用中的重要任务。为避免高成本的手动标注，现有方法尝试通过将2D掩码从基础模型迁移到3D来生成伪标签。然而，这种方法常常不理想，因为视频帧是独立处理的，导致分段粒度不一致和冲突的3D伪标签，从而降低最终分段的准确性。为此，我们引入了一种基于粒度一致性的自动2D掩码跟踪方法，通过维持帧之间的时间对应关系，消除冲突的伪标签。结合三阶段课程学习框架，我们的方法逐渐从碎片化的单视图数据训练到统一的多视图标注，最终实现全局一致的完整场景监督。这种结构化的学习管道使模型能够逐渐暴露于越来越一致的伪标签，从而可靠地从最初碎片化和矛盾的2D先验中蒸馏出一致的3D表征。实验结果表明，我们的方法有效生成了一致且准确的3D分段。此外，本文提出的方法在标准基准测试和开放词汇能力方面实现了状态最佳结果。