NubbleDrop：一种改进提示式单样本分割匹配策略的简单方法

在SAM等基于大数据训练的分割模型的推动下，单样本分割研究取得了显著进展。ICLR 2024上发表的PerSAM和MATCHER等近期工作采用了类似的方法，利用SAM和一个或几个参考图像为目标图像生成高质量分割掩码。具体而言，它们利用原始编码特征沿通道维度计算参考图像和目标图像内块之间的余弦相似度，从而有效地为目标图像生成提示点或提示框——这种技术被称为匹配策略。然而，仅依赖原始特征可能会为如此复杂的任务引入偏差并缺乏鲁棒性。为了解决这一问题，我们深入探讨了基于原始特征匹配中固有的特征交互和分布不均问题。在本文中，我们提出了一种简单且无需训练的方法，在不增加额外计算成本的情况下增强匹配策略的有效性和鲁棒性（NubbleDrop）。其核心概念是在匹配过程中随机丢弃特征通道（将其置零），从而防止模型受到包含欺骗性信息的通道的影响。该技术类似于丢弃病理性结节，并且可以无缝应用于其他相似度计算场景。我们考虑了广泛的因素，进行了全面的实验，以证明所提方法的有效性和合理性。我们的结果展示了通过这种简单直接的方法所取得的显著改进。