基于 GPT-4 自然语言地理猜测实验的基础模型地理多样性度量
计算机与社会
2024-04-12 v1
摘要
基于基础模型的生成式人工智能,让我们得以初步窥见机器所表征的世界,这些机器在训练期间摄入了海量多模态数据。若将所得模型本身视为知识库,则可能为透过机器的视角理解地点开辟新途径。本工作采纳这一思路,选取多模态大语言模型家族中最先进的代表 GPT-4,研究其在地理特征表征方面的地理多样性。利用 DBpedia 摘要作为探测的真实语料库,我们基于自然语言的地理猜测实验表明,GPT-4 目前在全球层面上对若干地理特征类型的知识编码可能不足。在局部层面上,我们不仅观察到这种不足,还发现 GPT-4 在对全球和当地居民都具有重要意义的联合国教科文组织世界遗产地的地理猜测表现存在区域间差异,且随着地理尺度增大,区域间差异可能变小。此外,无论是在全球还是局部层面评估地理猜测表现,我们均发现 GPT-4 的单模态与多模态变体之间存在模型间差异。我们希望本工作能在全球社会技术挑战面前,引发地理信息科学界将地理多样性作为一项伦理原则的讨论。
引用
@article{arxiv.2404.07612,
title = {Measuring Geographic Diversity of Foundation Models with a Natural Language--based Geo-guessing Experiment on GPT-4},
author = {Zilong Liu and Krzysztof Janowicz and Kitty Currier and Meilin Shi},
journal= {arXiv preprint arXiv:2404.07612},
year = {2024}
}
备注
Short paper accepted by AGILE 2024 conference (https://agile-gi.eu/conference-2024)