DOSA：来自印度不同地理亚文化的社交人造物数据集

生成模型越来越多地应用于各种任务中，例如文本生成、常识推理和问答。为了在全球范围内有效，这些模型必须了解并考虑当地的社会文化背景，这使得有必要建立基准来评估模型的文化熟悉度。由于大型语言模型（LLM）的训练数据基于网络，而网络在信息表示方面存在局限性，因此它无法捕捉不在网络上的社区中存在的知识。因此，这些模型加剧了来自网络的不平等、语义错位和刻板印象。在自然语言处理（NLP）领域，对以社区为中心的参与式研究方法的呼声日益高涨。在这项工作中，我们通过使用参与式研究方法引入 $\textit{DOSA}$ 来响应这一呼吁，这是第一个由社区生成的 615 个 $\textbf{S}$ocial $\textbf{A}$rtifacts 的 $\textbf{D}$ataset $\textbf{o}$f，通过与来自 19 个不同印度地理亚文化的 260 名参与者接触而构建。我们使用了一个依赖集体意义构建的游戏化框架来收集这些人造物的名称和描述，使得这些描述在语义上与来自这些文化的个人的共同情感保持一致。接下来，我们对四个流行的 LLM 进行了基准测试，发现它们在推断人造物的能力上在不同区域亚文化之间表现出显著差异。