自回归的余烬：通过其所训练解决的问题理解大语言模型
计算与语言
2023-09-26 v1 人工智能
摘要
大语言模型（LLMs）的广泛采用使得认识其优势与局限变得重要。我们主张，为对这些系统形成整体性理解，我们需要考虑它们被训练解决的问题：互联网文本上的下一词预测。通过认识该任务施加的压力，我们可以预测 LLMs 将采取的策略，从而推断它们何时会成功或失败。这一我们称之为目的论的方法，引导我们识别出三个我们假设将影响 LLM 准确性的因素：待执行任务的概率、目标输出的概率，以及所提供输入的概率。我们预测，当这些概率较高时 LLMs 将达到更高准确率，而非较低时——即便在概率本不应起作用的确定性设定中亦然。为检验我们的预测，我们在十一项任务上评估了两个 LLM（GPT-3.5 与 GPT-4），并发现了 LLMs 以我们假设的方式受概率影响的稳健证据。许多情况下，实验揭示了令人惊讶的失败模式。例如，GPT-4 在解码简单密码时，当输出为高概率词序列时准确率为 51%，而为低概率时仅 13%。这些结果表明，AI 从业者应在低概率情境中谨慎使用 LLMs。更广泛地，我们总结道，我们不应像对待人类那样评估 LLMs，而应将其视为一种独特的系统类型——一种被其自身特定压力集合所塑造的系统。
引用
@article{arxiv.2309.13638,
title = {Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve},
author = {R. Thomas McCoy and Shunyu Yao and Dan Friedman and Matthew Hardy and Thomas L. Griffiths},
journal= {arXiv preprint arXiv:2309.13638},
year = {2023}
}
备注
50 pages plus 11 page of references and 23 pages of appendices