基于自回归思维链的学习理论

对于给定的序列到下一 token 生成器的基类，我们考虑学习从提示到答案的映射，该映射通过迭代一个固定的时不变生成器多步生成思维链，然后将最终 token 作为答案。我们分别在思维链可观测以及仅在提示-答案对上训练（思维链为潜在变量）的情况下，将学习问题形式化。我们从基类的一般性质（例如其 VC 维）以及特定基类（如线性阈值）的角度分析了样本复杂度和计算复杂度。我们提出了一个简单的基类，能够实现通用可表示性和计算上易处理的思维链学习。我们发展的核心在于，时不变性使得样本复杂度与思维链的长度无关。注意力机制在我们的构造中自然产生。