SDI-Paste：用于视频实例分割的合成动态实例复制粘贴
计算机视觉与模式识别
2024-10-18 v1
摘要
数据增强方法如复制粘贴已被研究作为在低成本下扩充训练数据集的有效方式。虽然此类方法在图像级任务中得到了广泛实现，但我们发现尚无针对视频任务的可扩展复制粘贴实现。在本文中，我们利用近期视频生成模型真实性提升的增长，探索将合成对象有效地整合到现有视频数据集中，以人为扩充对象实例池的有效方法。我们首先获取具有随时间动态变化形态的合成视频序列。经精心设计的管道自动分割后复制粘贴这些动态实例跨越目标背景视频序列的各帧。我们将我们的视频数据增强管道命名为合成动态实例复制粘贴 (Synthetic Dynamic Instance Copy-Paste)，并在综合检测、分割和跟踪视频序列中对象实例的复杂任务上进行测试。在流行的 Youtube-VIS 2021 数据集上进行大规模实验，使用两个独立的流行网络作为基线，实现了 +2.9 AP (6.5%) 和 +2.1 AP (4.9%) 的显著提升。我们将代码和模型公开提供。
关键词
引用
@article{arxiv.2410.13565,
title = {SDI-Paste: Synthetic Dynamic Instance Copy-Paste for Video Instance Segmentation},
author = {Sahir Shrestha and Weihao Li and Gao Zhu and Nick Barnes},
journal= {arXiv preprint arXiv:2410.13565},
year = {2024}
}