SimulFlow：面向无监督视频目标分割的同步特征提取与目标辨识
计算机视觉与模式识别
2023-12-01 v1
摘要
无监督视频目标分割（UVOS）旨在无需任何人工干预地检测给定视频序列中的主要物体。大多数现有方法依赖双流架构，在融合外观与运动信息以辨识目标并生成物体掩码之前分别编码二者。然而，该流程计算昂贵，且因难以恰当融合两种模态可能导致次优性能。本文提出一种名为 SimulFlow 的新型 UVOS 模型，可同时执行特征提取与目标辨识，实现高效且有效的无监督视频目标分割。具体而言，我们设计了一种新颖的 SimulFlow 注意力机制，利用注意力操作的灵活性桥接图像与运动，其中各阶段由融合特征预测的粗掩码用于约束掩码区域内的注意力操作并排除噪声影响。由于 SimulFlow 注意力中视觉与光流特征间的双向信息流，无需额外手工设计的融合模块，仅采用轻量解码器获得最终预测。我们在多个基准数据集上评估了该方法并取得最先进结果。我们所提方法不仅优于现有方法，还解决了双流架构带来的计算复杂性与融合困难。我们的模型在 DAVIS-16 上以最高速度（3090 上 63.7 FPS）和最低参数量（13.7 M）取得 87.4% 的 J & F。我们的 SimulFlow 在视频显著物体检测数据集上也获得了具竞争力的结果。
引用
@article{arxiv.2311.18286,
title = {SimulFlow: Simultaneously Extracting Feature and Identifying Target for Unsupervised Video Object Segmentation},
author = {Lingyi Hong and Wei Zhang and Shuyong Gao and Hong Lu and WenQiang Zhang},
journal= {arXiv preprint arXiv:2311.18286},
year = {2023}
}
备注
Accepted to ACM MM 2023