LSVOS 挑战 RVOS 轨道的第二个解答：用于一致语义分割的时空细化
计算机视觉与模式识别
2024-08-23 v1
摘要
指涉视频对象分割（RVOS）是一项具有挑战性的任务，因其需要进行时序理解。由于计算复杂度的障碍，许多最先进的模型在训练时仅使用短时间间隔。测试期间，这些模型能够有效处理短时间步长的信息，但在处理长时间序列时难以维持一致的感知，从而导致结果语义分割掩码之间产生不一致。为解决此挑战，本文利用新近引入的 Segment Anything Model 第 2 版（SAM-v2）的跟踪功能，以增强指涉对象分割模型的时序一致性。我们的方法在 MeViS 数据集测试集上取得了 60.40 \mathcal{J\&\!F} 的分数，位列 ECCV 2024 LSVOS 挑战 RVOS 轨道的最终排名第 2 位。
引用
@article{arxiv.2408.12447,
title = {The 2nd Solution for LSVOS Challenge RVOS Track: Spatial-temporal Refinement for Consistent Semantic Segmentation},
author = {Tuyen Tran},
journal= {arXiv preprint arXiv:2408.12447},
year = {2024}
}