多基石模型特征的魔幻功能与寻找之道：一种结合多个基础模型特征的探针方法
机器学习
2025-12-02 v1
摘要
不同目标和数据训练的基础模型（FMs）学习到多样化的表示，使得某些模型在特定下游任务上更有效。现有的适应策略，如参数高效微调，专注于单个模型，无法利用跨模型的互补优势。探针方法通过从冻结的模型中提取信息，成为一个有前景的替代方案，但当前技术在大型特征集合上不易扩展，常依赖特定数据集的超参数调优。我们提出Combined backBones（ComBo），一种简单且可扩展的探针式适配器，有效整合来自多个模型和层的特征。ComBo 将来自一个或多个 FMs 各层的激活压缩为紧凑的 token 级表示，并通过轻量级 transformer 处理以进行任务特定的预测。关键的是，ComBo 不需要特定数据集的调优或对 backbone 模型进行反向传播。然而，对于所有任务并非所有模型都同样相关。为此，我们引入一种机制，利用 ComBo 的联合多 backbone 探针高效评估每个 backbone 的任务相关性，从而实现实际的模型比较并通过选择性适应提升性能。在 VTAB-1k 基准的 19 个任务上，ComBo 在先前探针方法上超越，且与 distillation 基于的模型合并等更昂贵的替代方案相当，同时实现了对调谐模型的高效探针。我们的结果表明，ComBo 提供了一个实用且通用的框架，用于组合来自多个 FMs 的多样化表示。
引用
@article{arxiv.2512.01405,
title = {Fantastic Features and Where to Find Them: A Probing Method to combine Features from Multiple Foundation Models},
author = {Benjamin Ramtoula and Pierre-Yves Lajoie and Paul Newman and Daniele De Martini},
journal= {arXiv preprint arXiv:2512.01405},
year = {2025}
}
备注
Published at NeurIPS 2025