挖掘跨帧亲和度间关系用于视频语义分割
计算机视觉与模式识别
2022-07-22 v1
摘要
视频语义分割（VSS）的本质是如何利用时间信息进行预测。以往的尝试主要致力于开发新技术来计算跨帧亲和度，如光流与注意力。与之不同，本文从另一角度做出贡献：挖掘跨帧亲和度之间的关系，借此可实现更好的时间信息聚合。我们从两方面探索亲和度间关系：单尺度内在相关性以及多尺度关系。受传统特征处理启发，我们提出单尺度亲和度精炼（SAR）与多尺度亲和度聚合（MAA）。为使MAA可行，我们提出选择性令牌掩码（STM）策略，在计算亲和度时为不同尺度选择一组一致的参考令牌子集，这也提升了方法的效率。最后，经SAR与MAA增强的跨帧亲和度被用于自适应聚合时间信息。实验表明，所提方法优于最先进的VSS方法。代码公开于https://github.com/GuoleiSun/VSS-MRCFA。
引用
@article{arxiv.2207.10436,
title = {Mining Relations among Cross-Frame Affinities for Video Semantic Segmentation},
author = {Guolei Sun and Yun Liu and Hao Tang and Ajad Chhatkuli and Le Zhang and Luc Van Gool},
journal= {arXiv preprint arXiv:2207.10436},
year = {2022}
}
备注
Accepted to ECCV 2022