问，即有答：关于提示的图灵完备性
机器学习
2025-02-24 v3 计算复杂性
摘要
自 GPT 取得成功以来，大语言模型（LLM）已彻底改变了机器学习，并开启了所谓的 LLM 提示范式。在 LLM 时代，人们训练一个通用 LLM，并通过提供不同的提示来执行不同任务。然而，这种经验上的成功在很大程度上缺乏理论理解。在此，我们根据我们所知，首次对 LLM 提示范式进行了理论研究。在本工作中，我们证明提示实际上是图灵完备的：存在一个有限尺寸的 Transformer，使得对于任何可计算函数，都存在一个对应的提示，根据该提示 Transformer 能够计算该函数。此外，我们证明即使仅使用一个有限尺寸的 Transformer，它仍能达到与所有无界尺寸 Transformer 类几乎相同的复杂度界。总体而言，我们的结果揭示了提示可以使单个有限尺寸的 Transformer 高效地成为通用模型，从而为实践中的提示工程奠定了理论基础。
引用
@article{arxiv.2411.01992,
title = {Ask, and it shall be given: On the Turing completeness of prompting},
author = {Ruizhong Qiu and Zhe Xu and Wenxuan Bao and Hanghang Tong},
journal= {arXiv preprint arXiv:2411.01992},
year = {2025}
}
备注
ICLR 2025