RAPTOR：基于岭-自适应Logistic探针
机器学习
2026-02-05 v2 人工智能
摘要
探针研究冻结LLM各层表示中编码的信息，通过在其上方训练轻量级预测器。除了分析外，探针常被用于探针-驾驭管道中：从探针中提取学习的概念向量，并通过添加加法激活驾驭来注入，其中包括在前向传递期间添加到层表示中的加法。此管道的有效性取决于估计准确、在剖除下方向上稳定且获取成本低的概念向量。为了满足这些需求，我们提出RAPTOR（Ridge-Adaptive Logistic Probe），即一种L2正则化Logistic探针，其在验证上调谐的岭强度产生来自归一化权重的概念向量。通过在指令调谐LLM和人类编写的概念数据集上的大量实验，RAPTOR在准确性方面匹配或超过强基准，同时实现竞争的方向稳定性和显著降低的训练成本；这些定量结果得到定性下游驾驭演示的支持。最后，利用凸高斯最大定理（CGMT），我们在理想化的高斯教师-学生模型中对岭Logistic回归进行机制化描述，解释了惩罚强度如何调节探针准确性和概念向量稳定性，并产生结构性预测，这些预测在真实LLM嵌入上观察到的趋势定性上与之一致。
关键词
引用
@article{arxiv.2602.00158,
title = {RAPTOR: Ridge-Adaptive Logistic Probes},
author = {Ziqi Gao and Yaotian Zhu and Qingcheng Zeng and Xu Zhao and Ziqing Wang and Feng Ruan and Kaize Ding},
journal= {arXiv preprint arXiv:2602.00158},
year = {2026}
}
备注
Preprint