面向视频实例分割的离线到在线知识蒸馏
计算机视觉与模式识别
2023-02-16 v1
摘要
本文提出一种用于视频实例分割（VIS）的离线到在线知识蒸馏（OOKD）方法，将丰富的视频知识从离线模型迁移到在线模型以实现一致预测。与以往采用在线或离线单一模型的方法不同，我们的单一在线模型通过蒸馏离线知识同时利用了两类模型的优势。为正确迁移知识，我们提出查询过滤与关联（QFA），将无关查询过滤到精确实例。我们的结合QFA的知识蒸馏通过对单帧中以对象为中心的特征进行编码并辅以长程全局信息，增强了特征匹配的鲁棒性。我们还提出了一种简单的数据增强方案，用于VIS任务中的知识蒸馏，以将所有类别的知识公平地迁移至在线模型。大量实验表明，我们的方法显著提升了视频实例分割性能，尤其在包含长序列、动态序列等具有挑战性的数据集上。我们的方法在YTVIS-21、YTVIS-22和OVIS数据集上亦取得了最先进（SOTA）性能，mAP分数分别为46.1%、43.6%和31.1%。
引用
@article{arxiv.2302.07516,
title = {Offline-to-Online Knowledge Distillation for Video Instance Segmentation},
author = {Hojin Kim and Seunghun Lee and Sunghoon Im},
journal= {arXiv preprint arXiv:2302.07516},
year = {2023}
}