大语言模型与合理主义经验主义论争
计算与语言
2024-10-18 v1 人工智能
摘要
对许多人而言，Chomsky 与 Quine 以及 Skinner 之间的争论是 17 世纪合理主义经验主义论争的最新版本。共识是 Chomsky 的合理主义取得了胜利。这场争论随着大语言模型 (LLM) 的兴起重新出现。一些人认为 LLM 的存在为合理主义提供了支持，因为构建它们需要内在偏见。内在偏见的必要性被认为证明了经验主义没有解释语言能力的概念资源。此类论断取决于所采纳的经验主义类型。外部化经验主义一旦内在装置被经验地确定，就没有困难。因此，由于在 LLM 中构建内在偏见的需要，外部化经验主义并未被推翻。此外，LLM 对人类合理主义经验主义论争的相关性存疑。对于任何关于 LLM 学习方式是否符合经验主义的论断要与人类相关，就必须表明 LLM 和人类的学习方式相同。人类与 LLM 的两个关键区别是：人类面临感官贫乏，LLM 则因极其丰富的感官刺激而学习。人类的语言输出植根于感官经验，而 LLM 则不是。这两种学习方式的差异表明它们使用不同的底层能力来产生其输出。因此，关于 LLM 学习是否符合经验主义的任何论断，都不相关于人类学习是否符合经验主义。
引用
@article{arxiv.2410.12895,
title = {Large Language Models and the Rationalist Empiricist Debate},
author = {David King},
journal= {arXiv preprint arXiv:2410.12895},
year = {2024}
}