内部思维链：LLM 中逐层子任务调度的实证证据
计算与语言
2025-09-30 v2 机器学习
摘要
我们表明，大语言模型 展现出一种 ：它们逐层依次分解并执行复合任务。两项主张构成了我们研究的基础： 不同的子任务在网络的不同深度被学习； 这些子任务在各层之间被顺序执行。在一个包含 15 个两步复合任务的基准测试上，我们采用了 layer-from context-masking 并提出了一种新颖的跨任务 patching 方法，证实了。为了考察主张，我们应用 LogitLens 解码隐藏状态，揭示了一致的逐层执行模式。我们进一步在真实世界的 基准测试上复制了我们的分析，观察到了相同的逐步动态特性。总之，我们的结果通过展示 LLM 内部规划和执行子任务（或指令）的能力，增强了 LLM 的透明度，为细粒度的、指令级别的激活引导开辟了途径。
引用
@article{arxiv.2505.14530,
title = {Internal Chain-of-Thought: Empirical Evidence for Layer-wise Subtask Scheduling in LLMs},
author = {Zhipeng Yang and Junzhuo Li and Siyu Xia and Xuming Hu},
journal= {arXiv preprint arXiv:2505.14530},
year = {2025}
}
备注
EMNLP 2025 Main