PRISM：将漂移分解为尺度、形状和头部的几何风险界
计算与语言
2026-05-13 v1 人工智能
机器学习
摘要
比较训练后的大语言模型(LLM)变体，如量化、LoRA 适配和蒸馏模型，需要一种诊断方法，不仅能识别变体是否退化，还能识别其如何漂移。现有的相似性评分如 CKA 和 SVCCA 可以标记退化，但它们并未直接将表示漂移与风险或机制联系起来。我们提出 PRISM(通过结构映射的代理风险推断)，它利用 LLM 的线性输出头及其骨干网络经验上的近似等距结构，推导出目标模型与训练后变体之间交叉熵风险差距的闭式上界。该上界针对变体排序进行了校准，并将漂移分解为三个可独立测量的轴：尺度失配、形状失配和头部散度。每个轴对应一种不同的失效模式，包括低比特量化下的形状失真、LoRA 遗忘下的尺度可分离性以及 GGUF k-量化下的头部散度。因此，主导轴提示了补救方向，而不仅仅是发出退化标志。由于形状项是可微的，相同的几何结构也可以作为训练时的正则化器来防止灾难性遗忘。在两个模型系列和五个基准测试中，PRISM 对训练后量化的变体排序平均 Spearman 相关系数为 0.820，对 LoRA 遗忘的排序为 0.831，其轴引导的形状正则化器在缓解下游遗忘方面的总体表现优于经验回放。
引用
@article{arxiv.2605.11608,
title = {PRISM: A Geometric Risk Bound that Decomposes Drift into Scale, Shape, and Head},
author = {Chieh-Yen Lin and Shao-Hua Sun},
journal= {arXiv preprint arXiv:2605.11608},
year = {2026}
}