SwiftNet：实时视频目标分割
计算机视觉与模式识别
2021-04-22 v2
摘要
本文提出用于实时半监督视频目标分割（一次性 VOS）的 SwiftNet，其在 DAVIS 2017 验证集上取得 77.8% 的 J&F 与 70 FPS，在整体精度与速度性能上领先现有所有方案。我们通过像素自适应记忆（PAM）精心压缩基于匹配的 VOS 中的时空冗余来实现这一点。在时间上，PAM 在目标呈现显著帧间变化时自适应地触发记忆更新。在空间上，PAM 选择性地在动态像素上执行记忆更新与匹配，而忽略静态像素，显著减少了在分割无关像素上浪费的冗余计算。为促进高效的参考编码，SwiftNet 中还引入了部署反转子像素的轻量聚合编码器。我们希望 SwiftNet 能为实时 VOS 建立一个强大且高效的基线，并推动其在移动视觉中的应用。SwiftNet 的源代码可在 https://github.com/haochenheheda/SwiftNet 找到。
引用
@article{arxiv.2102.04604,
title = {SwiftNet: Real-time Video Object Segmentation},
author = {Haochen Wang and Xiaolong Jiang and Haibing Ren and Yao Hu and Song Bai},
journal= {arXiv preprint arXiv:2102.04604},
year = {2021}
}