MESS：零样本语义分割的多领域评测
计算机视觉与模式识别
2023-12-19 v3
摘要
尽管语义分割在过去取得了巨大进展，但仍需大量的标注工作，并且存在对训练时未出现类别泛化能力有限的问题。为解决该问题，零样本语义分割利用大型自监督视觉-语言模型，实现对未见类别的零样本迁移。在本工作中，我们构建了语义分割多领域评测基准（MESS），可对涵盖医学、工程、地球监测、生物学与农业等广泛领域特定数据集的性能进行整体分析。为此，我们审阅了 120 个数据集，制定了分类法，并依据所建分类法对数据集进行分类。我们选取由 22 个数据集组成的代表性子集，提出作为 MESS 基准。我们在所提出的 MESS 基准上评测了八个近期发布的模型，并分析了零样本迁移模型性能的特征。该工具包可在 https://github.com/blumenstiel/MESS 获取。
引用
@article{arxiv.2306.15521,
title = {What a MESS: Multi-Domain Evaluation of Zero-Shot Semantic Segmentation},
author = {Benedikt Blumenstiel and Johannes Jakubik and Hilde Kühne and Michael Vössing},
journal= {arXiv preprint arXiv:2306.15521},
year = {2023}
}
备注
37th Conference on Neural Information Processing Systems (NeurIPS 2023) Track on Datasets and Benchmarks