通过受限提示在光场中实现实时语义分割
计算机视觉与模式识别
2024-11-22 v1
摘要
分段的光场图像可作为许多计算机视觉任务中有效的表征，后者利用对象的几何和外观，如物体姿态跟踪。 在光场领域，分割的额外目标是识别同一分段通过所有视图。在单视图图像和视频中，Segment Anything Model 2 (SAM 2) 允许产生语义上有意义的分段。然而，直接将 SAM 2 用于光场效果极其低效，因为未利用约束。在本工作中，我们提出了一种新颖的光场分割方法，将 SAM 2 适应于光场领域，而无需重新训练或修改模型。通过利用光场领域约束，该方法产生高质量且在各视图之间保持一致的光场掩码，超越了 SAM 2 视频跟踪基线，工作速度快 7 倍，实现实时。我们通过利用光束交叉几何线索在视图之间传播掩码，探索 SAM 2 潜在空间以估计其遮挡，并进一步对其进行提示以进行细化。
引用
@article{arxiv.2411.13840,
title = {Segment Anything in Light Fields for Real-Time Applications via Constrained Prompting},
author = {Nikolai Goncharov and Donald G. Dansereau},
journal= {arXiv preprint arXiv:2411.13840},
year = {2024}
}