面向开放世界语义分割的区域感知度量学习：基于元通道聚合
计算机视觉与模式识别
2022-05-18 v1
摘要
作为最具挑战性和实用性的分割任务之一，开放世界语义分割要求模型分割图像中的异常区域，并增量式地学习分割分布外（OOD）对象，尤其是在少样本条件下。当前最先进的（SOTA）方法——深度度量学习网络（DMLNet）依赖于像素级度量学习，这使得识别具有不同语义的相似区域变得困难。因此，我们提出了一种称为区域感知度量学习（RAML）的方法，该方法首先分离图像区域并生成区域感知特征以进行进一步的度量学习。RAML 提高了分割异常区域的完整性。此外，我们提出了一个新颖的元通道聚合（MCA）模块，以进一步分离异常区域，形成高质量的子区域候选，从而提高模型对 OOD 对象的性能。为评估所提出的 RAML，我们在 Lost And Found 和 Road Anomaly 数据集上进行了异常分割的广泛实验和消融研究，并在 CityScapes 数据集上进行了增量少样本学习。结果表明，所提出的 RAML 在开放世界分割的两个阶段均达到了 SOTA 性能。我们的代码和附录可在 https://github.com/czifan/RAML 获取。
引用
@article{arxiv.2205.08083,
title = {Region-Aware Metric Learning for Open World Semantic Segmentation via Meta-Channel Aggregation},
author = {Hexin Dong and Zifan Chen and Mingze Yuan and Yutong Xie and Jie Zhao and Fei Yu and Bin Dong and Li Zhang},
journal= {arXiv preprint arXiv:2205.08083},
year = {2022}
}
备注
Accepted at IJCAI 2022