深度线性探针生成器用于权重空间学习
机器学习
2025-10-23 v2 计算机视觉与模式识别
摘要
权重空间学习旨从神经网络中提取信息，如其训练数据集或泛化误差。最近的做法直接从模型权重中学习，但这面临诸多挑战，因为权重是高维的，并且在神经元之间包含置换对称性。另一种方法是 Probing，通过对一组已学习输入（探针）通过模型进行前向传播，并在相应的输出上训练预测器。虽然通常不将探针用作独立方法，但我们的初步实验发现，一个 vanilla probing baseline 的表现出乎意料地好。然而，我们发现当前的探针学习策略无效。因此，我们提出了深度线性探针生成器（ProbeGen），这是一种简单而有效的针对探针方法的修改。ProbeGen 添加了一个具有深度线性结构的共享生成器模块，为结构化探针提供归纳偏置，从而减少过拟合。虽然简单，但 ProbeGen 的表现优于最新方法，在计算效率方面，只需 30 到 1000 倍的 FLOPs 即可实现。
引用
@article{arxiv.2410.10811,
title = {Deep Linear Probe Generators for Weight Space Learning},
author = {Jonathan Kahana and Eliahu Horwitz and Imri Shuval and Yedid Hoshen},
journal= {arXiv preprint arXiv:2410.10811},
year = {2025}
}
备注
ICLR 2025. Project page: https://vision.huji.ac.il/probegen