面向开放世界语义分割的深度度量学习
计算机视觉与模式识别
2021-08-11 v1
摘要
经典的闭集语义分割网络在检测分布外（OOD）物体方面能力有限，而这对于自动驾驶等安全攸关应用至关重要。通过少量标注增量地学习这些OOD物体，是扩大深度学习模型知识库的理想方式。在本文中，我们提出了一种开放世界语义分割系统，包含两个模块：（1）一个开集语义分割模块，用于检测分布内和OOD物体。（2）一个增量式少样本学习模块，用于逐步将这些OOD物体纳入其现有知识库。该开放世界语义分割系统的行为类似于人类，能够识别OOD物体并在相应的监督下逐渐学习它们。我们采用带有对比聚类的深度度量学习网络（DMLNet）来实现开集语义分割。与其他开集语义分割方法相比，我们的DMLNet在不使用额外数据或生成模型的情况下，在三个具有挑战性的开集语义分割数据集上取得了SOTA性能。在此基础上，进一步提出了两种增量式少样本学习方法，以利用OOD物体的标注逐步改进DMLNet。
引用
@article{arxiv.2108.04562,
title = {Deep Metric Learning for Open World Semantic Segmentation},
author = {Jun Cen and Peng Yun and Junhao Cai and Michael Yu Wang and Ming Liu},
journal= {arXiv preprint arXiv:2108.04562},
year = {2021}
}
备注
Accepted by ICCV2021