面向开放场景感知的超球空间中的分类感知连续语义分割
计算机视觉与模式识别
2024-11-05 v2 人工智能
机器人学
摘要
语义分割模型通常在固定类别集合上进行训练，限制了其在开放场景中的应用。类别递增语义分割旨在更新模型以学习新出现的类别，同时防止对先前学习的类别发生灾难性遗忘。然而，现有方法对旧类别施加严格的刚性约束，降低了学习新递增类别的效果。在本工作中，我们提出了一种遵循显式分类树结构在超球空间中学习特征嵌入的 Taxonomy-Oriented Poincar\'e-regularized Incremental-Class Segmentation (TOPICS)，以实现分类导向的超球空间连续语义分割。这种监督为旧类别提供了塑性，根据新类别更新祖先，同时在合适位置整合新类别。此外，我们保持对 Poincaré 球几何基上的隐式类别关系约束。这确保了潜在空间可以持续适应新的约束，同时保持稳健的结构以抵御灾难性遗忘。我们还为自动驾驶场景建立了八个现实的递增学习协议，其中新类别可来自已知类别或背景。对 TOPICS 在 Cityscapes 和 Mapillary Vistas 2.0 数据集上的广泛评估表明，它实现了最先进的性能。我们将代码和训练好的模型公开于 http://topics.cs.uni-freiburg.de。
引用
@article{arxiv.2407.18145,
title = {Taxonomy-Aware Continual Semantic Segmentation in Hyperbolic Spaces for Open-World Perception},
author = {Julia Hindel and Daniele Cattaneo and Abhinav Valada},
journal= {arXiv preprint arXiv:2407.18145},
year = {2024}
}