链路思维鲁棒性的下界：推理步骤、嵌入范数等
计算与语言
2025-09-26 v1
摘要
现有研究表明，链路思维（Chain-of-Thought, CoT）的输出显著受到输入扰动的影响。虽然许多方法旨在通过优化提示来缓解这种影响，但对这些扰动如何影响 CoT 输出的理论解释仍属开放研究领域。这一差距限制了我们深入理解输入扰动在推理过程中如何传播的能力，并阻碍了进一步改进提示优化方法的发展。因此，本文对输入扰动对 CoT 输出波动的影响进行了理论分析。我们首先在输出波动在可接受范围内的条件下导出输入扰动的上界，据此我们证明：(i) 该上界与 CoT 中的推理步骤数呈正相关；(ii) 即使进行无限长的推理过程也无法消除输入扰动的影响。随后，我们将这些结论应用于线性自注意力（Linear Self-Attention, LSA）模型，该模型可视为变换器的简化版本。对于 LSA 模型，我们证明输入扰动的上界与输入嵌入和隐藏状态向量的范数呈负相关。为验证这一理论分析，我们在三个主流数据集和四个主流模型上进行实验。实验结果与我们的理论分析一致，实证地证明了我们发现之正确性。
引用
@article{arxiv.2509.21284,
title = {Bounds of Chain-of-Thought Robustness: Reasoning Steps, Embed Norms, and Beyond},
author = {Dingzirui Wang and Xuanliang Zhang and Keyan Xu and Qingfu Zhu and Wanxiang Che and Yang Deng},
journal= {arXiv preprint arXiv:2509.21284},
year = {2025}
}