GPT 正成为图灵机：若干编程方式
计算与语言
2023-03-28 v1
摘要
我们证明，通过恰当的提示（prompting），GPT-3 系列模型可被触发执行（而非仅编写或回忆）涉及循环的程序所需的迭代行为，包括计算机科学课程或软件开发面试中若干流行算法。我们通过以下一种（或组合）三种方式，以规整自注意力（IRSA）触发迭代的执行与描述：1）在某一特定输入的目标程序执行路径示例中使用强重复结构，2）以执行路径片段进行提示，以及 3）显式禁止（跳过）对生成文本部分内容的自注意力。在动态程序执行上，IRSA 带来的准确率提升大于将模型替换为强得多的 GPT-4。IRSA 在教育中有着广阔应用前景，因其提示与响应类似于数据结构与算法课程中的学生作业。我们的发现对评估 LLM 具有启示意义，后者通常瞄准上下文学习：我们表明，甚至可能未覆盖一个完整任务示例的提示也能触发算法行为，从而解决先前被认为对 LLM 困难的问题，如逻辑谜题。因此，提示设计在 LLM 性能中的作用比此前所认识到的更为关键。
引用
@article{arxiv.2303.14310,
title = {GPT is becoming a Turing machine: Here are some ways to program it},
author = {Ana Jojic and Zhen Wang and Nebojsa Jojic},
journal= {arXiv preprint arXiv:2303.14310},
year = {2023}
}
备注
25 pages, 1 figure