语言模型知道通往罗马的路吗？
计算与语言
2021-09-17 v1
摘要
语言模型的全局几何结构对一系列应用至关重要，但语言模型探针往往评估相当局部的关系，而这些关系的真值易于获取。在本文中，我们利用地理学中真值不仅存在于局部关系之外的这一事实。通过一系列实验，我们评估了城市与国家名称的语言模型表示在多大程度上同构于真实世界地理，例如，如果你告诉一个语言模型巴黎和柏林的位置，它是否知道通往罗马的路？我们发现语言模型通常编码有限的地理信息，但较大的模型表现最佳，这表明地理知识可由高阶共现统计推导得出。
引用
@article{arxiv.2109.07971,
title = {Do Language Models Know the Way to Rome?},
author = {Bastien Liétard and Mostafa Abdou and Anders Søgaard},
journal= {arXiv preprint arXiv:2109.07971},
year = {2021}
}