语言模型的地理与地缘政治偏见
计算与语言
2022-12-21 v1
摘要
由于某些世界地区在训练数据集中代表性不足，预训练语言模型（PLM）往往无法公平地代表来自这些地区的目标用户。随着近期 PLM 在海量数据源上训练，由于其黑盒性质和数据源的庞大规模，量化其潜在偏见变得十分困难。在本工作中，我们设计了一种方法来研究 PLM 中存在的地理偏见（及知识），提出了一种地理表示探测框架，该框架采用自条件方法并结合实体-国家映射。我们的发现表明，就国家间关联而言，PLM 的表示能惊人地映射到物理世界，但这种知识在不同语言之间的分布并不均等。最后，我们解释了大型 PLM 尽管表现出地理邻近性的概念，但在推理时如何过度放大地缘政治偏好。
引用
@article{arxiv.2212.10408,
title = {Geographic and Geopolitical Biases of Language Models},
author = {Fahim Faisal and Antonios Anastasopoulos},
journal= {arXiv preprint arXiv:2212.10408},
year = {2022}
}