用于少样本视频对象分割的时间转导推断
计算机视觉与模式识别
2023-07-18 v2
摘要
少样本视频对象分割（FS-VOS）旨在利用初始训练时未见过类别的少量标注样本对视频帧进行分割。本文中，我们提出一种简单而有效的时间转导推断（TTI）方法，在少样本推断过程中利用无标注视频帧的时间一致性。我们方法的关键在于同时使用全局与局部时间约束。全局约束的目标是为图像序列中的新类别学习一致的线性分类器，而局部约束强制每帧中前景/背景区域的比例在局部时间窗内保持连贯。这些约束在转导推断过程中充当时空正则化器，以增加时间连贯性并减少在少样本支持集上的过拟合。实证上，我们的模型在 YouTube-VIS 上的平均交并比（mIoU）比最先进的元学习方法高出 2.8%。此外，我们引入了详尽标注的改进基准（即所有对象出现均被标注，不同于现有可用基准），并提出了一种更现实的评估范式，针对训练与测试集之间的数据分布偏移。我们的实证结果与深入分析证实了所提时空正则化器在改善时间连贯性和克服某些过拟合场景方面的额外益处。
引用
@article{arxiv.2203.14308,
title = {Temporal Transductive Inference for Few-Shot Video Object Segmentation},
author = {Mennatullah Siam and Konstantinos G. Derpanis and Richard P. Wildes},
journal= {arXiv preprint arXiv:2203.14308},
year = {2023}
}
备注
IJCV submission under review