重新思考基于文本提示的手术器械分割：一种鲁棒框架

手术器械分割是计算机辅助和机器人手术系统的重要组成部分。基于视觉的分割模型通常产生的输出仅限于预定义的器械类别，这限制了它们在交互系统和机器人任务自动化中的适用性。可提示分割方法允许基于文本提示进行选择性预测。然而，它们通常依赖于场景中存在的器械已知的假设，并据此生成提示，这限制了它们泛化到未见或动态出现的器械的能力。在实际手术环境中，器械存在信息未提供，该假设并不始终成立，导致假阳性分割。为应对这些限制，我们定义了一个新任务，称为鲁棒文本提示手术器械分割（R-SIS）。在此设置下，提示是针对所有候选类别发出的，而无需访问器械存在信息。R-SIS要求区分哪些提示指向可见器械，并仅当这些器械明确存在于场景中时才生成掩码。该设置反映了器械存在不确定性固有的实际条件。我们使用手术视频数据集在R-SIS协议下评估了现有分割方法，并观察到在缺乏真实器械的情况下存在大量假阳性预测。这些发现表明当前评估协议与实际用例之间存在不匹配，并支持需要明确考虑提示不确定性和器械缺失的基准。