BLO-Inst：基于双层优化的YOLO与SAM对齐以实现稳健实例分割

Segment Anything Model已凭借其零样例能力 revolutionized了图像分割，然而其对手动提示的依赖阻碍了完全自动化的部署。虽然将对象检测器作为提示生成器提供了实现自动化的途径，但现有管道存在两个根本局限性：目标不匹配，即针对几何局化优化的检测器不对应于SAM所需的optimal prompting context，以及标准联合训练中的对齐过拟合，即检测器仅记忆特定训练样本的特定提示调整，而非学习可泛化的策略。为弥合这一差距，我们引入BLO-Inst，一个统一框架，通过双层优化对齐检测和分割目标。我们将对齐建模为在disjoint数据划分上的nested optimization问题。在下层，SAM在子集$D_1$上的当前检测提案给定情况下被 fine-tuned to maximize segmentation fidelity。在上层，检测器被更新以生成显式最小化在separate子集$D_2$上的 fine-tuned SAM验证损失的边界框。这有效地将检测器转化为一个segmentation-aware prompt generator，优化边界框不仅用于localization accuracy，更用于downstream mask quality。广泛的实验表明，BLO-Inst在 general和生物医学领域的任务上均实现了卓越的性能，优于标准基线。