从无依据形式获取意义的可知局限：未来语言模型将理解什么？
计算与语言
2021-06-23 v2
摘要
在数十亿 token 上训练的语言模型近来在许多 NLP 任务上取得了前所未有的结果。这一成功引发了一个问题：原则上，一个系统能否在无法接触某种形式 grounding 的情况下“理解”原始文本。我们形式化地研究了无依据系统获取意义的能力。我们的分析聚焦于“断言”的作用：提供关于底层语义间接线索的文本上下文。我们研究断言是否使系统能够模拟保留等价性等语义关系的表示。我们发现，断言能够对满足强语义透明性概念的语言实现语义模拟。然而，对于同一表达式在不同上下文中可取不同值的语言类，我们证明模拟可能变得不可计算。最后，我们讨论了我们的形式模型与自然语言之间的差异，探索我们的结果如何推广到模态设定及其他语义关系。总之，我们的结果表明代码或语言中的断言并未提供充分信号以完全模拟语义表示。我们形式化了无依据语言模型在其“理解”能力上似乎受到根本限制的方式。
引用
@article{arxiv.2104.10809,
title = {Provable Limitations of Acquiring Meaning from Ungrounded Form: What Will Future Language Models Understand?},
author = {William Merrill and Yoav Goldberg and Roy Schwartz and Noah A. Smith},
journal= {arXiv preprint arXiv:2104.10809},
year = {2021}
}
备注
Updated 06/22/21 with substantive changes. Accepted at TACL; pre-MIT Press publication version