基于深度最近质心的视觉识别

我们通过重新审视最经典且最简单的分类器之一——最近质心(Nearest Centroids)，设计了深度最近质心(DNC)，一种概念优雅却出奇有效的大规模视觉识别网络。当前的深度模型以完全参数化的方式学习分类器，忽略了潜在的数据结构，缺乏简洁性与可解释性。DNC则进行非参数的、基于案例的推理；它利用训练样本的子类质心来描述类别分布，并清晰地将分类解释为测试数据与类别子类质心在特征空间中的邻近性。由于基于距离的性质，网络输出维度是灵活的，且所有可学习参数仅用于数据嵌入。这意味着在“预训练与微调”范式下，为ImageNet分类学到的所有知识都可以完全迁移用于像素识别学习。除了其内在的简洁性和直观的决策机制外，当子类质心被选作人类可查看和检查的实际训练图像时，DNC甚至可以具备即时可解释性。与参数化对应方法相比，DNC在图像分类(CIFAR-10、ImageNet)上表现更好，并大幅提升了像素识别(ADE20K、Cityscapes)，在使用各种网络架构(ResNet、Swin)和分割模型(FCN、DeepLabV3、Swin)时具有更高的透明度和更少的可学习参数。我们认为这项工作为相关领域带来了基础性见解。