面向视频目标分割的可靠传播-校正调制方法
计算机视觉与模式识别
2021-12-07 v1
摘要
误差传播是在线半监督视频目标分割中一个普遍但关键的问题。我们旨在通过高可靠性的校正机制来抑制误差传播。其核心思路是将校正从传统的掩码传播过程中解耦，并利用可靠线索。我们引入了两个调制器，即传播调制器和校正调制器，分别根据局部时间相关性和可靠参考对目标帧嵌入进行通道级重标定。具体而言，我们将调制器以级联的传播-校正方案组装，从而避免传播调制器覆盖可靠校正调制器的作用。尽管带有真值标签的参考帧提供了可靠线索，但它可能与目标帧差异很大，并引入不确定或不完整的相关性。我们通过向维护的池中补充可靠特征块来增强参考线索，从而为调制器提供更全面且更具表现力的目标表示。此外，设计了一个可靠性过滤器来检索可靠块并将其传递到后续帧。我们的模型在 YouTube-VOS18/19 和 DAVIS17-Val/Test 基准上取得了最先进的性能。大量实验表明，校正机制通过充分利用可靠引导带来了可观的性能提升。代码见：https://github.com/JerryX1110/RPCMVOS。
引用
@article{arxiv.2112.02853,
title = {Reliable Propagation-Correction Modulation for Video Object Segmentation},
author = {Xiaohao Xu and Jinglu Wang and Xiao Li and Yan Lu},
journal= {arXiv preprint arXiv:2112.02853},
year = {2021}
}
备注
13 pages, 8 figures, AAAI 2022 Accepted