Stream：稀疏注意力扩展LLM长上下文机理可解释性
计算与语言
2026-02-03 v2 人工智能
摘要
随着大语言模型（LLM）扩展到百万token的上下文，传统的机理可解释性技术用于分析注意力随着上下文长度呈二次增长，在10万token以上需要 terabytes 级别的内存。我们引入稀疏追踪（Sparse Tracing）一种新颖技术，利用动态稀疏注意力高效分析长上下文注意力模式。我们提出Stream，一种可编译的分层剪枝算法，以近线性时间O(T log T)和线性空间O(T)估算每个注意力头的稀疏注意力掩码，实现规模化的单遍可解释性。Stream执行类似二分查找的精炼，以保留每个查询的top-k key块，同时保持模型的下一个token行为。我们将Stream应用于长链式思维推理痕迹，识别思考锚点并剪枝97-99%的token相互作用。在RULER基准测试中，Stream保留了关键检索路径，同时丢弃90-96%的相互作用，揭示了从针尖到输出的分层路由。我们的方法为分析注意力模式和追踪信息流提供了实用的即插即用工具，无需 terabytes 级别的缓存即可实现。通过使长上下文可解释性在消费级GPU上实现可行，稀疏追踪有助于民主化链式思维监控。代码已在https://anonymous.4open.science/r/stream-03B8/上提供。
引用
@article{arxiv.2510.19875,
title = {Stream: Scaling up Mechanistic Interpretability to Long Context in LLMs via Sparse Attention},
author = {J Rosser and José Luis Redondo García and Gustavo Penha and Konstantina Palla and Hugues Bouchard},
journal= {arXiv preprint arXiv:2510.19875},
year = {2026}
}