IDPro：基于ID查询并发传播的灵活交互式视频目标分割
计算机视觉与模式识别
2025-02-10 v3
摘要
交互式视频目标分割（iVOS）是一项具有挑战性的任务，需要实时人机交互。为改善用户体验，考虑用户的输入习惯、分割质量、运行时间和内存消耗至关重要。然而，现有方法因单一的输入模式和较慢的运行速度而损害了用户体验。具体来说，这些方法仅允许用户与单帧交互，这限制了用户意图的表达。为克服这些限制并更好地契合人们的使用习惯，我们提出了一种能够同时接受多帧输入并探索帧间协同交互（SIAF）的框架。具体而言，我们设计了跨帧交互模块，使用户能够在多个帧上自由标注不同目标。该 AFI 模块将在多个交互帧之间迁移涂鸦信息并生成多帧掩码。此外，我们采用 ID 查询机制来批量处理多个目标。进一步地，为了实现更高效的传播和轻量化模型，我们设计了一种截断重传播策略来替代之前的多轮融合模块，该策略采用跨轮记忆来存储重要的交互信息。我们的 SwinB-SIAF 在 DAVIS 2017 数据集上取得了新的最优性能（89.6%, J&F@60）。此外，在具有挑战性的多目标场景下，我们的 R50-SIAF 比最优竞争对手快 3 倍以上。
引用
@article{arxiv.2401.12480,
title = {IDPro: Flexible Interactive Video Object Segmentation by ID-queried Concurrent Propagation},
author = {Kexin Li and Tao Jiang and Zongxin Yang and Yi Yang and Yueting Zhuang and Jun Xiao},
journal= {arXiv preprint arXiv:2401.12480},
year = {2025}
}
备注
Accepted by TCSVT