通过电路追踪揭示 decoder-only Transformer 中的图推理机制
机器学习
2025-09-25 v1 人工智能
摘要
Transformer-based LLM 在图推理任务上表现出强大的性能，但其内部机制仍未得到充分探索。为从根本且统一的视角揭示这些推理过程机制，我们设定基本的 decoder-only Transformer，并使用 circuit-tracer 框架进行解释。通过这一视角，我们可视化推理轨迹，识别出图推理中的两个核心机制：token 合并和结构记忆，这两种机制支撑着路径推理和子结构提取任务。我们进一步量化了这些行为，并分析了它们如何受图密度和模型大小的影响。我们的研究为理解 decoder-only Transformer 中的结构推理提供了统一的可解释性框架。
引用
@article{arxiv.2509.20336,
title = {Uncovering Graph Reasoning in Decoder-only Transformers with Circuit Tracing},
author = {Xinnan Dai and Chung-Hsiang Lo and Kai Guo and Shenglai Zeng and Dongsheng Luo and Jiliang Tang},
journal= {arXiv preprint arXiv:2509.20336},
year = {2025}
}
备注
Accepted by the Workshop on Efficient Reasoning, Neurips 2025