在语言模型中建立克隆-氏族散度的尺度
计算与语言
2026-04-21 v3
摘要
对数概率分布向量构成了用于比较语言模型的统一空间，使可在异构环境中进行一致的比较。我们将该框架扩展到训练检查点和中间层，并在预训练、模型规模、随机种子、量化、微调以及层之间建立一致的 KL 散度尺度。对 Pythia 预训练轨迹的分析进一步表明，随着 KL 散度的尺度行为变化，对数概率空间中的变化远小于权值空间的变化，导致学习轨迹呈亚扩散特征，尽管权值发生漂移，语言模型行为仍实现早期稳定。
引用
@article{arxiv.2505.15353,
title = {Establishing a Scale for Kullback-Leibler Divergence in Language Models Across Various Settings},
author = {Ryo Kishino and Yusuke Takase and Momose Oyama and Hiroaki Yamagiwa and Hidetoshi Shimodaira},
journal= {arXiv preprint arXiv:2505.15353},
year = {2026}
}
备注
ACL 2026 Findings