权重聚类大语言模型中仅相对排名 matters

大语言模型 (LLM) 包含数十亿参数，但许多精确值并非必需。我们表明最重要的是权重的相对排名——即一个连接相对于另一个连接更强或更弱——而非精确的大小。为减少唯一权重值的数量，我们对预训练模型应用权重聚类，将每个权重矩阵替换为 K 个共享值的 K-means。对于 Llama 3.1-8B-Instruct 和 SmolLM2-135M，仅将每个矩阵减少到 16-64 个distinct 值即可保留强大的准确性，这是一种简单且无需 retraining 的磁盘压缩 LLM 方法。可选地，对聚类均值 (centroids) 进行微调可在最小成本下恢复剩余 30-40% 的准确性差距。我们随后系统性地随机化聚类均值，同时保持分配固定。Scrambling 聚类的相对排名会显著降低质量——囊积率可因数量级而大幅增加，即便保持全局统计量如均值和方差不变。相比之下，保持排名的随机化在中后层几乎没有损失。另一方面，当许多层同时被扰动时，逐层替换揭示尺度漂移——而非排名扭曲——是主要的崩溃机制；然而，带有 $a > 0$ 的仿射校正 $w' = aw + b$（既保持排名顺序又保持整体权力分布）可显著延缓此类漂移。这种基于排名的视角为模型压缩和鲁棒性提供了新的视角。