论自回归决策树在语言建模中的能力

Yulu Gan; Tomer Galanti; Tomaso Poggio; Eran Malach

论自回归决策树在语言建模中的能力

计算与语言 2024-10-01 v1

作者: Yulu Gan , Tomer Galanti , Tomaso Poggio , Eran Malach

摘要

自回归决策树(ARDTs)最初被提出用于处理时间序列数据，但尚未在语言建模中得到探索。本文深入探讨了ARDTs在这一新语境下的理论和实际应用。我们在理论上证明，ARDTs可以通过利用“思维链”计算来计算复杂函数，例如模拟自动机、图灵机和稀疏电路。我们的分析提供了ARDTs的大小、深度和计算效率的界限，突显了其惊人的计算能力。在实验上，我们在简单的语言生成任务上训练ARDTs，表明它们可以学习生成连贯且语法正确的文本，与较小的Transformer模型相当。此外，我们表明ARDTs可以在Transformer表示之上使用，以解决复杂的推理任务。本研究揭示了ARDTs独特的计算能力，旨在拓宽语言模型开发中的架构多样性。

关键词

自回归决策树语言建模思维链 Transformer 计算复杂度

引用

@article{arxiv.2409.19150,
  title  = {On the Power of Decision Trees in Auto-Regressive Language Modeling},
  author = {Yulu Gan and Tomer Galanti and Tomaso Poggio and Eran Malach},
  journal= {arXiv preprint arXiv:2409.19150},
  year   = {2024}
}

备注

Accepted to NeurIPS 2024

论自回归决策树在语言建模中的能力

摘要

关键词

引用

备注

相关论文