下一词感知分数：对 LLM 感知能力的分析评估
计算与语言
2025-05-26 v1 人工智能
摘要
自回归预训练已成为大型语言模型（LLM）学习通用表示的事实标准。然而，线性探针在下游感知任务上的表现显示出显著的变异性，暗示针对下一个词预测优化的特征在下游感知任务上并不始终能良好迁移。我们展示，通过自回归预训练学习到的特征可能位于感知最具信息性的子空间之外。为量化自回归预训练与下游感知之间的（不）一致性，我们引入了下一词感知分数（NTPS）——一种在线性设置下推导的分数，其衡量自回归特征子空间与感知特征子空间之间的重叠度。该指标可从预训练表示和标记数据中以闭式形式轻易计算，并被证明既是上界又是下界。实证结果表明，NTPS 在 12 个多样化 NLP 数据集和 8 个参数范围从 2.7 亿到 80 亿的预训练模型之间与线性探针准确率高度相关，证明其作为感知能力衡量指标的实用性。进一步地，我们发现 NTPS 在低秩适应（LoRA）微调后会增加，尤其是在大型模型中，这表明 LoRA 将表示与感知任务对齐，从而增强子空间重叠并提升下游性能。更重要的是，我们发现 NTPS 可可靠预测 LoRA 微调获得的额外准确性提升，从而为 LoRA 适应提供一种轻量级的预筛选工具。我们的结果既提供了理论洞见，也为分析性评估 LLM 感知能力提供了实用工具。
引用
@article{arxiv.2505.17169,
title = {Next Token Perception Score: Analytical Assessment of your LLM Perception Skills},
author = {Yu-Ang Cheng and Leyang Hu and Hai Huang and Randall Balestriero},
journal= {arXiv preprint arXiv:2505.17169},
year = {2025}
}