基于变换器的符号多步推理任务的极限分析——信息传播规则
人工智能
2025-09-30 v1
摘要
变换器能够执行推理任务，但其内在机制仍广为人知。本文提出一套基于变换器的信息传播规则，并利用符号推理任务对模型的极限推理步数进行理论分析。我们表明，具有 L 层注意力机制的模型在单次前向传播中的极限推理步数位于 与 之间。
引用
@article{arxiv.2509.23178,
title = {Limit Analysis for Symbolic Multi-step Reasoning Tasks with Information Propagation Rules Based on Transformers},
author = {Tian Qin and Yuhan Chen and Zhiwei Wang and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2509.23178},
year = {2025}
}