基于基础模型的野外目标分割：应用于上肢视觉辅助神经假体
计算机视觉与模式识别
2025-07-25 v1
摘要
本文研究了使用基础模型进行语义目标分割的问题。我们探究了在大量且多样化的目标上训练的基础模型，是否能在无需针对包含日常物体的特定图像进行微调的情况下，在高度杂乱的视觉场景中执行目标分割。这种“野外”背景是由视觉引导的上肢神经假体这一目标应用驱动的。我们提出了一种基于注视点生成提示的方法，以引导Segment Anything Model（SAM）在我们的分割场景中进行分割，并在自我中心视觉数据上对其进行微调。我们方法的评估结果显示，在Grasping-in-the-Wild语料库（该语料库可在RoboFlow平台（https://universe.roboflow.com/iwrist/grasping-in-the-wild）上获取）的真实世界具有挑战性的数据上，IoU分割质量指标提升了多达0.51个点。
引用
@article{arxiv.2507.18517,
title = {Object segmentation in the wild with foundation models: application to vision assisted neuro-prostheses for upper limbs},
author = {Bolutife Atoki and Jenny Benois-Pineau and Renaud Péteri and Fabien Baldacci and Aymar de Rugy},
journal= {arXiv preprint arXiv:2507.18517},
year = {2025}
}