面向视频目标分割的全双工策略

以往的视频目标分割方法主要聚焦于在表观与运动之间使用单一方案，限制了这两类线索内部及之间的特征协作效率。本工作中，我们研究一种新颖高效的全双工策略网络（FSNet）以解决该问题，通过在融合与解码阶段利用跨模态特征时考量运动与表观之间更好的相互约束机制。具体而言，我们引入关系交叉注意力模块（RCAM）以实现跨嵌入子空间的双向消息传播。为提升模型鲁棒性并更新来自时空嵌入的不一致特征，我们在 RCAM 之后采用双向净化模块（BPM）。在五个流行基准上的大量实验表明，我们的 FSNet 对各类挑战性场景（如运动模糊、遮挡）具有鲁棒性，并在视频目标分割与视频显著目标检测任务中相较现有前沿方法取得了优越性能。项目公开于：https://dpfan.net/FSNet。