LoFTI：面向印度地区的位置信息与事实性迁移
计算与语言
2024-07-17 v1 机器学习
摘要
大型语言模型（LLM）通过在大规模网络数据集上训练所编码的广泛世界知识，但这些数据集通常存在地理偏向，主要针对英语国语西方国家。这导致 LLM 在针对需要地域特定答案的查询时，产生偏见或幻觉响应。本文引入了一个新的基准测试，称为 LoFTI（Localization and Factuality Transfer to Indian Locales），用于评估 LLM 的位置信息和事实性迁移能力。LoFTI 包含关于来自不同来源地理位置（全球分布）和目标地理位置（全部位于印度）实体的事实陈述，目标位置具有不同程度的超局部性（国家、州、城市），实体涵盖广泛的类别。我们使用 LoFTI 对 Mixtral、GPT-4 以及两种适用于该任务的 Mixtral 变体方法进行评估。我们证明 LoFTI 是一个高质量的评估基准，所有模型，包括 GPT-4，都在不同程度的超局部性下产生偏斜结果。
引用
@article{arxiv.2407.11833,
title = {LoFTI: Localization and Factuality Transfer to Indian Locales},
author = {Sona Elza Simon and Soumen Kumar Mondal and Abhishek Singhania and Sayambhu Sen and Preethi Jyothi},
journal= {arXiv preprint arXiv:2407.11833},
year = {2024}
}
备注
21 pages