LogitLens4LLMs：将 Logit Lens 分析扩展至现代大型语言模型
计算与语言
2025-03-18 v1
摘要
本文介绍了 LogitLens4LLMs，这是一个将 Logit Lens 技术扩展到现代大型语言模型的工具包。虽然 Logit Lens 一直是理解语言模型内部表示的重要方法，但它以前仅限于早期的模型架构。我们的工作克服了现有实现的局限性，使得该技术能够应用于最先进的架构（如 Qwen-2.5 和 Llama-3.1），同时自动化了关键的分析工作流。通过开发特定于组件的钩子来捕获注意力机制和 MLP 输出，我们的实现实现了与 HuggingFace transformer 库的完全兼容，同时保持了较低的推理开销。该工具包提供交互式探索和批处理功能，支持大规模的逐层分析。通过开源我们的实现，我们旨在促进对大规模语言模型内部机制的深入研究。该工具包已在 https://github.com/zhenyu-02/LogitLens4LLMs 上公开发布。
引用
@article{arxiv.2503.11667,
title = {LogitLens4LLMs: Extending Logit Lens Analysis to Modern Large Language Models},
author = {Zhenyu Wang},
journal= {arXiv preprint arXiv:2503.11667},
year = {2025}
}