使用扩展上下文和领域专家提升语义分割中的分类器
计算机视觉与模式识别
2025-10-30 v1
摘要
普遍的语义分割方法通常采用 vanilla 分类器将每个像素categorized 到特定类别。虽然这种分类器从训练数据中学习到全局信息，但这种信息由一组固定参数(权重和偏置)表示。然而，每幅图像的类别分布不同，这会阻止分类器解决单个图像的独特特征。在数据集层面，类别不平衡导致分割结果偏向多数类别，限制了模型识别和分割少数类区域的效果。在本文中，我们提出了一种扩展上下文感知分类器(ECAC)，通过动态调整分类器以融合全局(数据集层面)和局部(图像层面)的上下文信息。具体而言，我们利用记忆库来学习每个类别的数据集层面的上下文信息，将当前图像中每个类的特定上下文信息纳入分类器，以提高精确像素标记的能力。此外，采用教师-学生网络范式，其中领域专家(教师网络)通过 ground truth 动态调整上下文信息，并将知识传递给学生网络。全面的实验表明，所提出的 ECAC 在包括 ADE20K、COCO-Stuff10K 和 Pascal-Context 在内的多个数据集上均实现了最先进的性能。
引用
@article{arxiv.2510.25174,
title = {Classifier Enhancement Using Extended Context and Domain Experts for Semantic Segmentation},
author = {Huadong Tang and Youpeng Zhao and Min Xu and Jun Wang and Qiang Wu},
journal= {arXiv preprint arXiv:2510.25174},
year = {2025}
}
备注
Accepted at IEEE TRANSACTIONS ON MULTIMEDIA (TMM)