外部提示特征增强的参数高效微调用于显著目标检测

显著目标检测旨在找出图像中最显著的目标并输出像素级二值掩码。基于Transformer的方法因其全局语义理解能力而取得了有前景的性能，这对识别显著目标至关重要。然而，这些模型往往规模较大，需要大量训练参数。为了更好地发挥Transformer在显著目标检测中的潜力，我们提出了一种新颖的参数高效微调方法，旨在减少训练参数数量同时增强显著目标检测能力。我们的模型称为外部提示特征增强适配器微调（ExPert），采用编码器-解码器结构，在冻结的Transformer编码器层之间穿插适配器和注入器。适配器模块将预训练骨干网络适应于显著目标检测，而注入器模块则引入外部提示特征以增强对显著目标的感知。大量实验证明了我们方法的优越性。在五个显著目标检测数据集上超越先前最先进模型，ExPert在ECSSD数据集上以80.2M训练参数实现了0.215的平均绝对误差，比SelfReformer好21%，比EGNet好47%。