以列表解码对大语言模型相变的简单解释
计算与语言
2023-03-24 v1 人工智能
信息论
math.IT
机器学习
摘要
近期多种实验结果表明，大语言模型（LLM）展现出小模型所不具备的涌现能力。系统性能在越过某一临界规模阈值后大幅提升。在本通讯中，我们为此种相变现象提供简单解释。为此，我们将 LLM 建模为序列到序列随机函数。我们不使用每步即时生成，而是采用列表解码器，其在每步保留候选序列列表，并推迟至末尾生成输出序列。我们证明存在一临界阈值，使得当 LLM 低于该阈值时错误候选序列的期望数量保持有界，而当 LLM 高于该阈值时其指数增长。该阈值与传染病中的基本再生数相关。
引用
@article{arxiv.2303.13112,
title = {A Simple Explanation for the Phase Transition in Large Language Models with List Decoding},
author = {Cheng-Shang Chang},
journal= {arXiv preprint arXiv:2303.13112},
year = {2023}
}
备注
5 pages, 1 figure