CVPR2023 BURST 长尾与开放世界挑战赛冠军方案
计算机视觉与模式识别
2023-08-10 v1 图像与视频处理
摘要
当前,视频实例分割(VIS)旨在从仅含数十个类别的封闭训练类别集中对视频中的对象进行分割与分类,缺乏处理真实世界视频中多样对象的能力。随着 TAO 和 BURST 数据集的发布,我们有机会研究长尾与开放世界场景下的 VIS。传统的 VIS 方法在仅限少量常见类的基准上评估,但实际应用需要超越这些常见类、检测并跟踪稀有乃至前所未见对象的跟踪器。受最新长尾任务 MOT 论文(Tracking Every Thing in the Wild,Siyuan Li 等)启发,针对 BURST 长尾挑战,我们在 LVISv0.5 与 COCO 数据集的组合上使用重复因子采样训练模型。首先,在 LVISv0.5 + COCO 数据集上用分割和 CEM 训练检测器;然后,在 TAO 数据集上训练实例外观相似度头;最终,我们的方法(LeTracker)在 BURST 测试集上取得 14.9 HOTAall,排名基准第一。对于开放世界挑战,我们仅使用 64 类(BURST 训练子集与 COCO 数据集的交集类,不含 LVIS 数据集)标注数据训练,在 BURST 测试集上测试取得 61.4 OWTAall,排名基准第一。我们的代码将公开以促进未来研究。
引用
@article{arxiv.2308.04598,
title = {1st Place Solution for CVPR2023 BURST Long Tail and Open World Challenges},
author = {Kaer Huang},
journal= {arXiv preprint arXiv:2308.04598},
year = {2023}
}