用于零样本视频目标分割的运动注意力迁移
计算机视觉与模式识别
2023-07-19 v3 机器学习
图像与视频处理
摘要
本文提出一种新颖的运动注意力迁移网络（MATNet）用于零样本视频目标分割，其提供了一种利用运动信息以增强时空目标表征的新方式。在一个双流编码器中设计了一个称为运动注意力迁移（MAT）的非对称注意力块，该块在每个卷积阶段将外观特征转换为运动注意力表征。以此方式，编码器变得深度交错，允许目标运动与外观之间紧密的层次化交互。这优于典型的双流架构，后者在每个流中分别处理运动和外观，且常遭受对外观信息过拟合的困扰。此外，提出了一个桥接网络，用于获得多级编码器特征的紧凑、判别性和尺度敏感的表征，并进一步输入解码器以得到分割结果。在三个具挑战性的公开基准（即 DAVIS-16、FBMS 和 Youtube-Objects）上的大量实验表明，我们的模型取得了优于 SOTA 的引人注目性能。
引用
@article{arxiv.2003.04253,
title = {Motion-Attentive Transition for Zero-Shot Video Object Segmentation},
author = {Tianfei Zhou and Shunzhou Wang and Yi Zhou and Yazhou Yao and Jianwu Li and Ling Shao},
journal= {arXiv preprint arXiv:2003.04253},
year = {2023}
}
备注
AAAI 2020. Code: https://github.com/tfzhou/MATNet