零方向探测：一种用于深度分析大语言模型漂移的线性代数框架
机器学习
2025-08-12 v1 人工智能
机器学习
摘要
我们提出了零方向探测（ZDP），这是一个纯理论框架，用于在没有任务标签或输出评估的情况下，从Transformer激活的零空间方向检测模型漂移。在假设A1至A6下，我们证明了：（i）方差-泄漏定理，（ii）Fisher零空间守恒，（iii）低秩更新的秩-泄漏界，以及（iv）在线零空间跟踪器的对数遗憾保证。我们推导出一个具有非渐近尾部界限和集中不等式的谱零泄漏（SNL）度量，从而在高斯零模型下产生漂移的先验阈值。这些结果表明，监控层激活的左右零空间及其Fisher几何结构，为表征变化提供了具体、可测试的保证。
引用
@article{arxiv.2508.06776,
title = {Zero-Direction Probing: A Linear-Algebraic Framework for Deep Analysis of Large-Language-Model Drift},
author = {Amit Pandey},
journal= {arXiv preprint arXiv:2508.06776},
year = {2025}
}
备注
14 pages