先悲剧，后解析：历史在大型语言模型新时代重演
计算与语言
2024-03-27 v2
摘要
许多 NLP 研究者正经历由 ChatGPT 及其他基于大语言模型（LLM）的系统的惊人成功所引发的存在危机。在对我们对该领域的理解发生如此颠覆性改变之后，还剩下什么可做？我们采用历史视角，从第一个 LLM 时代（始于 2005 年用于机器翻译（MT）的大型 元语法模型）寻求指引。我们明确了第一个时代的持久教训，更重要的是，我们明确了在 LLM 崛起的领域中西研究者仍能做出有意义贡献的常青问题。我们认为规模的差异是暂时的，研究者可努力缩小之；数据而非硬件仍是许多应用的瓶颈；有意义的现实评估仍是开放问题；且投机性方法仍有空间。
引用
@article{arxiv.2311.05020,
title = {First Tragedy, then Parse: History Repeats Itself in the New Era of Large Language Models},
author = {Naomi Saphra and Eve Fleisig and Kyunghyun Cho and Adam Lopez},
journal= {arXiv preprint arXiv:2311.05020},
year = {2024}
}