基于跨模型一致性的典型相关分析进行表示选择
计算机视觉与模式识别
2026-04-02 v1 人工智能
摘要
现代视觉流水线日益依赖预训练图像编码器，其表示在任务和模型之间被复用，但这些表示往往冗余且具有模型特异性。我们提出了一种简单且无需训练的方法，通过后验典型相关分析（CCA）算子来提高图像表示的效率。通过利用两个预训练图像编码器产生的表示之间的共享结构，我们的方法找到线性投影，作为表示选择和降维的合理形式，在保留共享语义内容的同时丢弃冗余维度。与 PCA 等标准降维技术（仅对单个嵌入空间操作）不同，我们的方法利用跨模型一致性来指导表示蒸馏和精炼。该技术可将表示的维度减少超过 75%，同时改善下游性能，或在固定维度下通过从更大或微调模型进行后验表示迁移来增强表示。在 ImageNet-1k、CIFAR-100、MNIST 及其他基准数据集上的实验结果表明，与基线和 PCA 投影表示相比，该方法具有一致性的改进，准确率提升高达 12.6%。
引用
@article{arxiv.2604.00921,
title = {Representation Selection via Cross-Model Agreement using Canonical Correlation Analysis},
author = {Dylan B. Lewis and Jens Gregor and Hector Santos-Villalobos},
journal= {arXiv preprint arXiv:2604.00921},
year = {2026}
}
备注
9 pages, 5 figures, 6 tables