监督性降维方法再探索：为何在冻结的CNN特征上使用LDA值得再次关注
摘要
冻结的预训练图像表示广泛用于迁移学习：保持 backbone 不变，提取特征向量，在其上训练轻量级分类器。该流程通常会将完整特征向量输入分类器，尽管目标任务的类别数远少于预训练任务的类别数。我们重新审视一种经典方法：在线性探针前使用线性判别分析（LDA）进行监督性降维。我们在六个 backbone（ResNet-18、ResNet-50、MobileNetV3-Small、EfficientNet-B0、ViT-B/16 和 DINOv2-ViT-S/14）上评估十种降维策略，分别用于 CIFAR-100、Tiny ImageNet 和 CUB-200-2011。在固定的逻辑回归协议下，LDA 在 11 个 12 个粗粒度配置中均优于完整特征，准确率提升最高可达4.5个百分点，同时将特征维度降低48%--87%。相同投影在细粒度 CUB-200 上 consistently 受损，完整特征在所有六个 backbone 上占优。这确立了实际边界条件：LDA在类级结构足够粗糙以致能被均值分离方向捕获时有用，但会丢弃细粒度识别所需的细微线索。我们还将 LDA 与 PCA、PCA+LDA、正则化 LDA、Local Fisher 判别分析、Neighborhood Components 分析以及三种轻量级 LDA 扩展进行比较。结果表明，普通 LDA 在大多数粗粒度设置下在准确率与计算成本之间提供最佳权衡，而更复杂的监督降维方法很少能证明其额外成本的合理性。总体而言，本研究为冻结特征图像分类管道中何时（以及何时不）应插入后处理监督投影提供了具体指导。
引用
@article{arxiv.2604.03928,
title = {Supervised Dimensionality Reduction Revisited: Why LDA on Frozen CNN Features Deserves a Second Look},
author = {Indar Kumar and Girish Karhana and Sai Krishna Jasti and Ankit Hemant Lade},
journal= {arXiv preprint arXiv:2604.03928},
year = {2026}
}
备注
11 pages, 5 figures, 5 tables. Code available at https://github.com/IndarKarhana/lda-image-classification