语言模型中的地理失真评估
计算与语言
2025-10-29 v2
摘要
语言模型现在是提高许多专业任务效率（如写作、编码或学习）的必备工具。因此，确定其内在偏见至关重要。在自然语言处理领域，已明确识别出五类偏见来源：数据偏见、标注偏见、表征偏见、模型偏见和研究设计偏见。本研究聚焦于与地理知识相关的偏见。我们通过揭示语言模型倾向于误表示空间信息的现象，进而导致对地理距离的表征失真。本研究引入四个指标来评估这些失真，通过将地理距离与语义距离进行比较。我们针对这四个指标对十个广泛使用的语言模型进行实验。结果凸显了检查和纠正语言模型中空间偏见的关键必要性，以确保其表征准确且公平。
引用
@article{arxiv.2404.17401,
title = {Evaluation of Geographical Distortions in Language Models},
author = {Rémy Decoupes and Roberto Interdonato and Mathieu Roche and Maguelonne Teisseire and Sarah Valentin},
journal= {arXiv preprint arXiv:2404.17401},
year = {2025}
}
备注
Accepted version. Published in Machine Learning (Springer) 114:263 (2025). Open access under a CC BY-NC-ND 4.0 license. DOI: 10.1007/s10994-025-06916-9