通过记忆能力分析链路思考的力量

已有研究表明，链路思考（CoT）可提升大型语言模型（LLM）解决某些数学推理问题的能力。然而，CoT的容量仍未被充分探索。作为一个重要实例，以下基本问题尚未得到回答：CoT是否拓展了transformer在所有推理任务中的能力？我们证明，与transformer进行推理本质上是一个记忆问题。因此，探索CoT在所有推理任务中的力量，等同于分析CoT transformers的记忆能力。在本文中，我们对固定精度transformers（是否包含CoT）的记忆能力作了完整描述，并给出上述问题的否定答案。精确地说，我们首先给出固定精度transformers（无论是否包含CoT）记忆有限推理数据集的必要且充分条件，并指出这两个条件彼此不蕴含。随后，我们给出transformers（无论是否包含CoT）记忆包含 $N$ 个元素的有限推理数据集所需参数数量的下界和上界，这些界限在所有情况下均为 $\overline{\Theta}(N)$。这意味着存在一些推理任务，其中CoT不提升transformers的推理能力，从而对上述问题给出了否定答案。最后，我们首次给出记忆无限推理数据集的CoT results，并指出某些简单无限数据集无法被包含或不包含CoT的transformers记忆。