充分利用局部表征以提升零样本分类性能
计算机视觉与模式识别
2026-04-02 v2
摘要
对未见过的新类别进行泛化是零样本分类的核心挑战。近期的度量基方法试图通过局部表征来解决此问题，但由于 (i) 对预训练特征提取器的监督方式不当，以及 (ii) 缺乏对处理各种局部特征集合组成的度量的适应性，这些方法无法充分发挥局部表征的优势。本文致力于在提高新类别泛化方面充分发挥局部表征的潜力。对于特征提取器，我们设计了一种新型预训练范式，通过软标签学习随机裁剪的图像块。该方法在保持类别级块多样性的同时，减轻了其对硬标签语义错位的影响。为使网络输出与软标签保持一致，我们还提出了一种 UniCon KL 散度，强调每个基类的贡献在描述“非基准”块方面具有相等性。对于度量，我们将衡量局部特征集合建模为熵正则化的最优输运问题，以引入处理由同质元素组成的集合的能力。此外，我们设计了调制模块，为度量提供必要的适应性。我们的方法在三个流行基准测试上实现了新的状态-of-the-art 性能。而且，在细粒度场景下，它超越了现有的 transducer 和跨模态方法。
引用
@article{arxiv.2407.01967,
title = {Harnessing the Power of Local Representations for Few-Shot Classification},
author = {Shi Tang and Guiming Luo and Xinchen Ye and Zhiyi Xia},
journal= {arXiv preprint arXiv:2407.01967},
year = {2026}
}