CapsuleVOS：基于胶囊路由的半监督视频目标分割
计算机视觉与模式识别
2019-10-02 v1 图像与视频处理
摘要
本文中我们提出一种基于胶囊的半监督视频目标分割方法。当前的视频目标分割方法基于帧且常需要光流来捕获跨帧的时间一致性，而光流可能难以计算。为此，我们提出一个基于视频的胶囊网络 CapsuleVOS，它可以在给定参考帧与分割掩码的条件下一次性分割若干帧。该条件化通过一种用于基于注意力的高效胶囊选择的新型路由算法实现。我们解决视频目标分割中的两个挑战性问题：1）小物体分割；2）物体跨时间遮挡。小物体分割问题由一个缩放模块解决，该模块使网络能处理视频的小空间区域。此外，该框架利用一种基于循环网络的新型记忆模块，有助于在物体移出帧外或被遮挡时跟踪它们。该网络端到端训练，我们在两个基准视频目标分割数据集上展示了其有效性；在 Youtube-VOS 数据集上它优于当前的离线方法，同时运行速度几乎为竞争方法的两倍。代码公开于 https://github.com/KevinDuarte/CapsuleVOS。
引用
@article{arxiv.1910.00132,
title = {CapsuleVOS: Semi-Supervised Video Object Segmentation Using Capsule Routing},
author = {Kevin Duarte and Yogesh S Rawat and Mubarak Shah},
journal= {arXiv preprint arXiv:1910.00132},
year = {2019}
}
备注
8 pages, 6 figures, ICCV 2019