LFSamba：将 SAM 与 Mamba 融合用于光场显著目标检测
计算机视觉与模式识别
2024-11-12 v1
摘要
光场相机可以利用捕获的多焦点图像重建三维场景，这些图像包含丰富的空间几何信息，增强了立体摄影、虚拟现实和机器人视觉等应用。在这项工作中，我们引入了一种用于多焦点光场图像的最先进显著目标检测模型 LFSamba，强调四个主要见解：（a）高效特征提取，使用 SAM 提取模态感知的判别性特征；（b）切片间关系建模，利用 Mamba 捕获多个焦点切片之间的长程依赖关系，从而提取隐式深度线索；（c）模态间关系建模，利用 Mamba 整合全焦点和多焦点图像，实现相互增强；（d）弱监督学习能力，从现有的像素级掩码数据集开发一个涂鸦标注数据集，为光场显著目标检测建立第一个涂鸦监督基线。https://github.com/liuzywen/LFScribble
引用
@article{arxiv.2411.06652,
title = {LFSamba: Marry SAM with Mamba for Light Field Salient Object Detection},
author = {Zhengyi Liu and Longzhen Wang and Xianyong Fang and Zhengzheng Tu and Linbo Wang},
journal= {arXiv preprint arXiv:2411.06652},
year = {2024}
}
备注
Accepted by SPL