基于几何特征的图像分割模型提示生成
计算机视觉与模式识别
2025-05-29 v1
摘要
机器学习的进步，特别是 transformer 架构和视觉 transformer 的引入，导致高度 capable 的计算机视觉基础模型的开发。已知为 colloquial 名称的 segment anything model（简称 SAM，最近称为 SAM 2）是针对自然图像分割的高度 capable 基础模型，并进一步应用于医学和科学图像分割任务。SAM 依赖于提示——图像中感兴趣的点或区域——来生成相关分割。本文提出使用几何驱动的提示生成器，以产生与特定感兴趣特征共定位的提示点。聚焦提示使使用 SAM 对科学图像分析任务中的自动化敏感且具体的分割成为可能，只需少量提示点。所分析的图像分析任务是对植物根在 rhizotron 或 minirhizotron 图像中的分割，该任务历史上一直是自动化的困难任务。 rhizotron 图像的手工标注费力且常常主观；使用基于 GeomPrompt 局部脊线提示初始化的 SAM 有潜力显著改进 rhizotron 图像处理。作者们同时发布了一个开源软件套件 geomprompt https://pypi.org/project/geomprompt/，可产生可直接集成到 segment-anything 软件包中的提示点格式。
引用
@article{arxiv.2505.21644,
title = {Geometric Feature Prompting of Image Segmentation Models},
author = {Kenneth Ball and Erin Taylor and Nirav Patel and Andrew Bartels and Gary Koplik and James Polly and Jay Hineman},
journal= {arXiv preprint arXiv:2505.21644},
year = {2025}
}