关于量化嵌入谱平坦化的研究
机器学习
2026-02-03 v1
摘要
在超低精度下训练大语言模型 (LLM) 严重受制于离散量化约束与语言数据固有重尾谱本质之间的冲突所致的不稳定性。通过形式化齐次分布统计与随机矩阵理论之间的联系，我们证明了嵌入奇异值谱中幂律衰减是语义编码的基本要求。我们推导理论边界，表明均匀量化引入的噪声底漂会不成比例地截断这一谱尾，从而引起谱平坦化并导致表示稳定秩的严格可证的增加。跨 GPT-2 和 TinyLlama 等多种架构的实证验证 corroborates (证实) 这种几何退化导致表示崩溃。本工作不仅量化了 LLM 的谱灵敏性，还将谱保真度确立为稳定低位优化的必要条件。
引用
@article{arxiv.2602.00969,
title = {On the Spectral Flattening of Quantized Embeddings},
author = {Junlin Huang and Wenyi Fang and Zhenheng Tang and Yuxin Wang and Xueze Kang and Yang Zheng and Bo Li and Xiaowen Chu},
journal= {arXiv preprint arXiv:2602.00969},
year = {2026}
}