OVOSE：事件相机中的开放词汇语义分割
计算机视觉与模式识别
2024-08-20 v1
摘要
事件相机因其低延迟操作和在挑战性光照条件下的优越性能，适合自动驾驶等敏感计算机视觉任务中的语义分割。然而，由于事件数据有限以及大规模分割基准的缺失，挑战随之产生。当前工作局限于封闭集语义分割，限制了其向其他应用的适应性。本文介绍OVOSE，即首个面向事件相机的开放词汇语义分割算法。OVOSE利用合成事件数据和来自预训练图像基础模型到事件基础模型的知识蒸馏，有效保持空间上下文并迁移开放词汇语义分割能力。我们在两个驾驶语义分割数据集DDD17和DSEC-Semantic上评估OVOSE的性能，将其与现有适配事件数据的常规图像开放词汇模型进行比较。同样，我们将OVOSE与无监督域适应中针对事件基础语义分割设计的最新封闭集方法进行比较。OVOSE展现出优越性能，证明了其在实际应用中的潜力。代码可在 https://github.com/ram95d/OVOSE 获取。
引用
@article{arxiv.2408.09424,
title = {OVOSE: Open-Vocabulary Semantic Segmentation in Event-Based Cameras},
author = {Muhammad Rameez Ur Rahman and Jhony H. Giraldo and Indro Spinelli and Stéphane Lathuilière and Fabio Galasso},
journal= {arXiv preprint arXiv:2408.09424},
year = {2024}
}
备注
conference