AoP-SAM：用于高效分割的提示自动化

Segment Anything Model（SAM）是一种强大的图像分割基础模型，通过提示工程显示出鲁健的零样例泛化能力。然而，依赖手动提示在实际应用中不够实用，尤其是在需要快速提供提示且资源效率至关重要的场景。本文提出一种自动化提示生成方法（Automation of Prompts for SAM，AoP-SAM），该方法学习在图像中自动识别关键实体并确定最佳提示位置。AoP-SAM通过消除手动输入，增强了SAM的效率和可用性，使其更适用于实际任务。该方法采用轻量且高效的提示预测模型，用于检测图像中的关键实体并识别放置提示候选区域的最佳位置。该方法利用SAM的图像嵌入，保留其零样例泛化能力，无需微调。此外，我们引入一种测试时基于实例的自适应抽样与过滤机制，以粗到细的方式生成提示。这显著提高了提示和掩码生成的效率，通过减少计算开销和最小化冗余掩码细化来实现。对三个数据集的评估表明，AoP-SAM在提示生成效率和掩码生成准确性方面均显著提升，使SAM在自动化分割任务中更加高效。