基于掩码传递网络的快速视频对象分割
计算机视觉与模式识别
2019-08-29 v1
摘要
准确率和 processing speed 是影响视频对象分割（VOS）在实际应用中使用的两个重要因素。借助深度神经网络的先进技术，准确率已显著提升，然而由于复杂的网络设计（例如需要首帧微调步骤），速度仍远未达到实时需求。为克服此限制，我们提出了一种新颖的掩码传递网络（MTN），可大幅提升 VOS 的处理速度，同时取得合理的准确率。MTN 的基本思想是通过高效的全局像素匹配策略将参考掩码传递到目标帧。参考帧与目标帧之间的全局像素匹配用于确保良好的匹配结果。为提升匹配速度，我们在下采样至原始帧尺寸 1/32 的特征图上进行匹配。同时，为在这种小特征图中保留详细的掩码信息，设计了一个掩码网络以 512 通道对标注掩码信息进行编码。最后，使用一种高效的特征扭曲方法将编码后的参考掩码传递到目标帧。基于该设计，我们的方法避免了首帧微调步骤，且不依赖于时间线索和特定对象类别。因此，它运行非常快，可仅用图像便捷地训练，并对未见过的对象具有鲁棒性。在 DAVIS 数据集上的实验表明，MTN 可达到 37 fps 的速度，并与最先进方法相比展现出具竞争力的准确率。
引用
@article{arxiv.1908.10717,
title = {Fast Video Object Segmentation via Mask Transfer Network},
author = {Tao Zhuo and Zhiyong Cheng and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:1908.10717},
year = {2019}
}