大语言模型所面临的瓶颈

我们表明，决定大语言模型 (LLMs) 性能的规模定律严重限制了其提高预测不确定性的能力。因此，以任何合理措施提高其可靠性以满足科学探究的标准都是不可行的。我们认为，驱动 LLMs 学习力量的核心机制——即从高斯输入生成非高斯输出分布的能力——很可能是其倾向于产生错误堆积、信息灾难和退化 AI 行为的根源。这一学习与准确性之间的张力很可能是观察到的规模分量低值的潜在机制。它因 Calude 和 Longo 指出的虚假相关性的洪流而大幅复合，这些虚假相关性仅以数据集大小为函数即可快速增加，无论其性质如何。退化 AI 路径在 LLM 生态系统中确实可能是极其可能的特征，但这并不意味着它必然在所有未来 AI 研究中都必然发生。其规避——我们在本文中也讨论了这一问题——需要对正在研究的问题的结构特征付出更高的注意力。