从循环视角探究半监督视频目标分割问题
计算机视觉与模式识别
2022-07-26 v2
摘要
现代视频目标分割（VOS）算法在顺序处理顺序下已取得极高性能，而当前主流的流程仍表现出一些明显不足，如误差累积、鲁棒性未知或缺乏恰当的解释工具。在本文中，我们将半监督视频目标分割问题置于一个循环工作流中，并发现上述缺陷可通过半监督 VOS 系统固有的循环特性被一并解决。首先，将循环机制引入标准顺序流可为像素级对应产生更一致的表示。依靠起始帧中准确的参考掩码，我们表明误差传播问题可得以缓解。接下来，一个简单梯度校正模块将离线循环流程自然扩展为在线方式，可突出结果的高频与细节部分，在保持可行计算成本的同时进一步提升分割质量。同时，此类校正可保护网络免受干扰信号导致的严重性能退化。最后，我们基于梯度校正过程开发了循环有效感受野（cycle-ERF），为分析特定目标感兴趣区域提供新视角。我们在 DAVIS16、DAVIS17 和 Youtube-VOS 等具挑战性基准上进行了全面对比与细致分析，表明循环机制有助于提升分割质量、改善 VOS 系统鲁棒性，并进一步提供关于不同 VOS 算法如何工作的定性比较与解释。本项目代码见 https://github.com/lyxok1/STM-Training
引用
@article{arxiv.2111.01323,
title = {Exploring the Semi-supervised Video Object Segmentation Problem from a Cyclic Perspective},
author = {Yuxi Li and Ning Xu and Wenjie Yang and John See and Weiyao Lin},
journal= {arXiv preprint arXiv:2111.01323},
year = {2022}
}
备注
modified version to appear in IJCV. arXiv admin note: substantial text overlap with arXiv:2010.12176