关于大语言模型需要了解的八件事
计算与语言
2023-04-04 v1 人工智能
摘要
近几个月来大语言模型（LLMs）在公众中的广泛部署，引发了来自许多领域的倡导者、政策制定者和学者的新一轮关注和参与。这种关注是对该技术提出的诸多紧迫问题的及时回应，但有时可能会忽略一些重要考量。本文综述了八项可能令人惊讶的此类证据：1. 即使没有针对性创新，LLMs 的能力也会随投入增加而可预测地提升。2. 许多重要的 LLM 行为作为投入增加的副产物不可预测地涌现。3. LLMs 常常似乎学习并使用外部世界的表征。4. 目前尚无可靠技术来引导 LLMs 的行为。5. 专家尚无法解释 LLMs 的内部运作机制。6. 人类在任务上的表现并非 LLM 表现的上限。7. LLMs 不必表达其创造者的价值观，也不必表达网络文本中编码的价值观。8. 与 LLMs 的简短交互常常具有误导性。
引用
@article{arxiv.2304.00612,
title = {Eight Things to Know about Large Language Models},
author = {Samuel R. Bowman},
journal= {arXiv preprint arXiv:2304.00612},
year = {2023}
}