基于粒度感知范式的轻量级图像和视频显著物体检测框架——GAPNet

近期的显著物体检测 (SOD) 模型主要依赖重型 backbone，导致计算成本高昂，阻碍其在各种实际场景中，尤其是边缘设备上的实际应用。本文提出了 GAPNet，一个建立在粒度感知范式之上的轻量级网络，同时支持图像和视频 SOD。我们将不同粒度的显著性图分配给多尺度解码器侧输出进行监督：高层输出用于粗糙的对象位置，低层输出用于精细的对象边界。具体而言，我们的解码器采用粒度感知连接，将低粒度的高层特征与高粒度的低层特征进行融合。为支持这些连接，我们设计了粒度金字塔卷积 (GPC) 和跨尺度注意力 (CSA) 模块，用于高效融合低尺度和高尺度特征。在编码器上，我们构建了一个自注意力模块，用于学习全局信息，从而在几乎不增加计算成本的情况下实现精确的对象定位。与传统基于 U-Net 的方法不同，我们的方法在每个处理阶段优化了特征利用和语义解释，同时对每个阶段施加了适当的监督。大量实验表明，所提出的方法在轻量级图像和视频 SOD 模型中实现了新的最先进性能。代码已公开于 https://github.com/yuhuan-wu/GAPNet。