大语言模型缺乏对单词字符组成的理解
计算与语言
2024-07-24 v3
摘要
大语言模型（LLM）在广泛的自然语言任务中展现出惊人的性能。然而，LLM 的成功主要局限于涉及单词、句子或文档的任务，关于它们是否理解文本最小单元——字符——的能力仍值得质疑。本文考察了当代 LLM 理解单词字符组成能力的情况，结果显示大多数 LLM 甚至无法可靠地完成人类能够轻松完成的简单任务。我们对其行为进行了与 token 级别性能的比较分析，讨论了未来研究的潜在方向。
引用
@article{arxiv.2405.11357,
title = {Large Language Models Lack Understanding of Character Composition of Words},
author = {Andrew Shin and Kunitake Kaneko},
journal= {arXiv preprint arXiv:2405.11357},
year = {2024}
}
备注
ICML 2024 Workshop on Large Language Models and Cognition