语言模型学习的局限性
计算与语言
2023-06-22 v1
摘要
随着大语言模型 (LLMs) 的出现，NLP 的趋势是在海量数据上训练 LLM 以解决多样的语言理解与生成任务。LLM 的成功案例繁多且各异。尽管如此，最近的几篇论文提供了经验证据，表明 LLM 未能捕捉语言意义的重要方面。聚焦于全称量化，我们通过证明 LLM 无法学习形式语义中所定义的语义蕴涵和一致性等某些基本语义属性，为这些经验发现提供了理论基础。更一般地，我们表明 LLM 无法学习超出 Borel 谱系第一层概念，这对大、小语言模型捕捉语言意义诸多方面的能力施加了严重限制。这意味着 LLM 将在需要蕴涵和深层语言理解的任务上继续在没有形式保证的情况下运行。
引用
@article{arxiv.2306.12213,
title = {Limits for Learning with Language Models},
author = {Nicholas Asher and Swarnadeep Bhar and Akshay Chaturvedi and Julie Hunter and Soumya Paul},
journal= {arXiv preprint arXiv:2306.12213},
year = {2023}
}