MobileVOS：面向实时视频对象分割的对比学习与知识蒸馏
计算机视觉与模式识别
2023-03-15 v1
摘要
本文解决了资源受限设备（如手机）上半监督视频对象分割的问题。我们将该问题表述为一个蒸馏任务，并证明具有有限内存的小型时空记忆网络能够取得与最先进方法相竞争的结果，但仅以一小部分计算代价（在三星 Galaxy S22 上每帧 32 毫秒）。具体而言，我们提供了一个有理论依据的框架，将知识蒸馏与有监督对比表示学习统一起来。这些模型能够同时从像素级对比学习和来自预训练教师模型的蒸馏中获益。我们通过在标准 DAVIS 和 YouTube 基准上取得与最先进方法相竞争的 J&F 分数来验证该损失函数，尽管其运行速度最高快 5 倍，且参数数量减少 32 倍。
引用
@article{arxiv.2303.07815,
title = {MobileVOS: Real-Time Video Object Segmentation Contrastive Learning meets Knowledge Distillation},
author = {Roy Miles and Mehmet Kerim Yucel and Bruno Manganelli and Albert Saa-Garriga},
journal= {arXiv preprint arXiv:2303.07815},
year = {2023}
}
备注
CVPR 2023