用于无监督视频目标分割的隐式运动补偿网络
计算机视觉与模式识别
2024-01-17 v2
摘要
无监督视频目标分割（UVOS）旨在自动将视频序列中的主要前景目标从背景中分离出来。现有 UVOS 方法要么在存在视觉相似环境时缺乏鲁棒性（基于外观），要么因动态背景和不准确的光流（基于光流）而预测质量下降。为克服这些局限，我们提出隐式运动补偿网络（IMCNet），其在特征层级将相邻帧与当前帧对齐的运动信息结合互补线索（即外观与运动），而无需估计光流。所提 IMCNet 由亲和度计算模块（ACM）、注意力传播模块（APM）和动作补偿模块（MCM）组成。轻量 ACM 基于外观特征提取相邻输入帧间的共性。APM 随后以自顶向下方式传递全局相关性。通过由粗到细的迭代激励，APM 将从多分辨率细化目标区域以有效避免细节丢失。最后，MCM 将时间相邻帧的运动信息对齐至当前帧，在特征层级实现隐式运动补偿。我们在 DAVIS_16 和 YouTube-Objects 上进行了大量实验。相比 SOTA 方法，我们的网络在更快速度下取得了优异性能。
引用
@article{arxiv.2204.02791,
title = {Implicit Motion-Compensated Network for Unsupervised Video Object Segmentation},
author = {Lin Xi and Weihai Chen and Xingming Wu and Zhong Liu and Zhengguo Li},
journal= {arXiv preprint arXiv:2204.02791},
year = {2024}
}
备注
Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)