用于少样本视频分割的多尺度记忆比较Transformer
计算机视觉与模式识别
2023-07-18 v1
摘要
少样本视频分割是利用少量带标签的支持图像在查询视频中勾画出特定新类别的任务。典型方法比较支持与查询特征，但将比较限制在单一特征层，从而忽略了潜在有价值的信息。我们提出一种元学习的多尺度记忆比较器（MMC）用于少样本视频分割，其在Transformer解码器中跨尺度组合信息。典型的用于分割任务的多尺度Transformer解码器通过学习压缩表示（其查询）实现跨尺度信息交换。与以往工作不同，我们通过多尺度记忆Transformer解码在跨尺度信息交换期间保留精细特征图，以减少背景与新类别之间的混淆。该方法的核心在于，我们研究了不同任务中多种跨尺度信息交换形式，并基于经验证据提供了各任务应使用何种形式的见解。查询与支持特征之间的整体比较受益于丰富的语义与精确的定位。我们主要在少样本视频目标分割上展示我们的方法，并在全监督对应任务上展示了适配版本。在所有情况下，我们的方法均优于基线并取得了最先进的性能。我们的代码公开于 https://github.com/MSiam/MMC-MultiscaleMemory。
引用
@article{arxiv.2307.07812,
title = {Multiscale Memory Comparator Transformer for Few-Shot Video Segmentation},
author = {Mennatullah Siam and Rezaul Karim and He Zhao and Richard Wildes},
journal= {arXiv preprint arXiv:2307.07812},
year = {2023}
}