Entropy-Lens: 揭示 LLM 中的决策策略
机器学习
2026-02-03 v3 人工智能
计算机视觉与模式识别
摘要
在大型语言模型 (LLM) 中，每个块都在残差流上工作，将输入 token 序列映射到输出 token 分布。然而，大多数可解释性文献集中于 internal latent representations，token-space dynamics 却鲜有探讨。token 分布的高维性和categoricity 阻碍了其分析，因为标准统计描述符不适用。我们表明，logit-lens predictions 的熵克服了这些问题。在此基础上，它提供了一个 per-layer scalar、permutation-invariant 的指标。我们引入 Entropy-Lens 将残差流的 token-space dynamics 提炼为低维信号。我们称此信号为 entropy profile。我们将该方法应用于 various model sizes and families，表明 (i) entropy profiles 揭示了由 expansion 和 pruning 策略驱动的 token 预测动力学；(ii) 这些动力学按 family-specific 且在 depth rescaling 下保持不变；(iii) 这些策略 characteristic of task type and output format；(iv) 这些策略对 downstream performance 的影响不均，expansion strategy 通常更为关键。最终，我们的发现进一步增强了对残差流的理解，使我们能够细粒度评估信息在模型深度中如何被处理。
关键词
引用
@article{arxiv.2502.16570,
title = {Entropy-Lens: Uncovering Decision Strategies in LLMs},
author = {Riccardo Ali and Francesco Caso and Christopher Irwin and Pietro Liò},
journal= {arXiv preprint arXiv:2502.16570},
year = {2026}
}