DaTaSeg：驯服通用多数据集多任务分割模型
计算机视觉与模式识别
2023-06-05 v1 人工智能
机器学习
摘要
观察到全景分割、语义分割和实例分割任务之间的紧密关系，我们提出训练一个通用的多数据集多任务分割模型：DaTaSeg。我们对所有任务使用共享表示（带类别预测的掩码提议）。为处理任务差异，我们对不同任务采用不同的合并操作与后处理。我们还利用弱监督，使我们的分割模型能从更廉价的边界框标注中获益。为跨数据集共享知识，我们使用来自同一语义嵌入空间的文本嵌入作为分类器，并在数据集间共享所有网络参数。我们在 ADE 语义、COCO 全景和 Objects365 检测数据集上训练 DaTaSeg。DaTaSeg 在所有数据集上均提升性能，尤其是小规模数据集，在 ADE 语义上达到 54.0 mIoU，在 COCO 全景上达到 53.5 PQ。DaTaSeg 还实现了 ADE 全景与 Objects365 实例分割上的弱监督知识迁移。实验表明 DaTaSeg 随训练数据集数量扩展，并通过直接迁移实现开放词汇分割。此外，我们标注了 1,000 张图像的 Objects365 实例分割集，并将作为公开基准发布。
引用
@article{arxiv.2306.01736,
title = {DaTaSeg: Taming a Universal Multi-Dataset Multi-Task Segmentation Model},
author = {Xiuye Gu and Yin Cui and Jonathan Huang and Abdullah Rashwan and Xuan Yang and Xingyi Zhou and Golnaz Ghiasi and Weicheng Kuo and Huizhong Chen and Liang-Chieh Chen and David A Ross},
journal= {arXiv preprint arXiv:2306.01736},
year = {2023}
}