Rewis3d：利用重建提升弱监督语义分割
计算机视觉与模式识别
2026-03-09 v1
摘要
我们提出 Rewis3d 框架, 利用最近的前馈 3D 重建技术, 在 2D 图像上显著提升弱监督语义分割。密集像素级标注仍是训练分割模型的高成本瓶颈。缓解此问题, 稀疏标注提供了高效的弱监督替代方案。然而它们仍存在性能差距。为此, 我们引入一种新方法, 利用 3D 场景重建作为辅助监督信号。我们的关键洞察在于, 从 2D 视频中恢复的 3D 几何结构提供了强线索, 可将稀疏标注在整个场景中传播。具体而言, 一个双学生-教师架构在 2D 图像和重建的 3D 点云之间强制语义一致性, 使用最先进的前馈重建生成可靠的几何监督。大量实验表明, Rewis3d 在稀疏监督下实现了最先进的性能, 在不要求额外标注或推理开销的情况下, 超越了现有方法 2-7%。
引用
@article{arxiv.2603.06374,
title = {Rewis3d: Reconstruction Improves Weakly-Supervised Semantic Segmentation},
author = {Jonas Ernst and Wolfgang Boettcher and Lukas Hoyer and Jan Eric Lenssen and Bernt Schiele},
journal= {arXiv preprint arXiv:2603.06374},
year = {2026}
}