TIVE：一个用于识别视频实例分割错误的工具箱
计算机视觉与模式识别
2022-10-18 v1
摘要
自首次提出以来，视频实例分割(VIS)任务吸引了大量研究者关注于架构建模以提升性能。尽管在线上与离线范式中取得了巨大进展，仍缺乏足够手段来识别模型错误并区分方法间差异，且能正确反映模型在识别不同时长目标实例上性能的方法也几乎不可用。更重要的是，作为该任务所要求的基础模型能力，空间分割与时间关联在评估与交互机制中仍研究不足。在本文中，我们介绍 TIVE，一个用于识别视频实例分割错误的工具箱。通过直接操作输出预测文件，TIVE 定义孤立的错误类型并加权每类错误对 mAP 的损害，以区分模型特征。通过分解时空维度的定位质量，可揭示模型在空间分割与时间关联上的潜在缺陷。TIVE 还可针对真实应用报告基于实例时长的 mAP。我们通过该工具箱进行了大量实验以进一步说明空间分割与时间关联如何相互影响。我们期望 TIVE 的分析能给研究者更多启示，引导社区推动对视频实例分割更有意义的探索。所提工具箱可在 https://github.com/wenhe-jia/TIVE 获取。
引用
@article{arxiv.2210.08856,
title = {TIVE: A Toolbox for Identifying Video Instance Segmentation Errors},
author = {Wenhe Jia and Lu Yang and Zilong Jia and Wenyi Zhao and Yilin Zhou and Qing Song},
journal= {arXiv preprint arXiv:2210.08856},
year = {2022}
}
备注
11pages, 6 figures