量子筛选器标记：面向大型语言模型的分层激活标记的混合框架
量子物理
2026-02-09 v1 人工智能
摘要
机制可解释性旨在逆向工程大型语言模型 (LLM) 的内部计算，但分离稀疏语义信号与高维多义噪声仍是重大挑战。本文引入量子筛选器标记 (Quantum Sieve Tracer)，一个混合量子-经典框架，用于表征事实记忆电路。我们实现了一个模块化管道，首先使用经典因果标记定位关键层，然后将特定注意力头激活映射到指数级的量子希尔伯特空间。通过开放权重模型（Meta Llama-3.2-1B 和阿里巴巴 Qwen2.5-1.5B-Instruct），我们进行了两阶段分析，揭示了一种基本的架构分歧。虽然 Qwen 的第 7 层电路功能为经典的 Recall Hub，我们发现 Llama 的第 9 层充当干扰抑制电路，其中消除所识别的注意力头反而会改善事实记忆。我们的结果表明，量子核可以区分这些建设性（记忆）和消性（抑制）机制，为分析注意力的细粒度拓扑结构提供高分辨率工具。
引用
@article{arxiv.2602.06852,
title = {The Quantum Sieve Tracer: A Hybrid Framework for Layer-Wise Activation Tracing in Large Language Models},
author = {Jonathan Pan},
journal= {arXiv preprint arXiv:2602.06852},
year = {2026}
}
备注
4 pages, 4 figures