InTraVisTo：Transformer可视化工具
计算与语言
2025-07-21 v1
摘要
大型语言模型（LLM）的推理能力和规模在过去几年中不断提升。尽管如此，在实际应用中仍然面临挑战，由于其不可预测的特性以及其期望行为与实际模型输出之间的差异。在本文中，我们引入了一种新工具InTraVisTo（Inside Transformer Visualisation Tool），旨在帮助研究人员检验和追踪生成Transformer-based LLM中每个标记的计算过程。InTraVisTo通过解码模型各层的标记嵌入来呈现Transformer模型的内部状态，并使用Sankey图展示模型不同层之间组件的信息流。借助InTraVisTo，我们希望帮助研究人员和实践者更好地理解Transformer模型中正在执行的计算，从而阐明其内部模式和推理过程。
引用
@article{arxiv.2507.13858,
title = {InTraVisTo: Inside Transformer Visualisation Tool},
author = {Nicolò Brunello and Davide Rigamonti and Andrea Sassella and Vincenzo Scotti and Mark James Carman},
journal= {arXiv preprint arXiv:2507.13858},
year = {2025}
}
备注
8 pages