WorldValuesBench：用于多文化价值感知语言模型的大规模基准数据集
计算与语言
2024-04-26 v1 计算机与社会
摘要
语言模型（LM）对多文化人类价值观的感知是其生成安全和个性化响应能力的关键因素。然而，由于计算机科学社区缺乏关于多文化价值观的大规模真实世界数据的访问，导致该感知不足受到关注。本文提出WorldValuesBench，一个来自世界价值观调查（World Values Survey，WVS）的全球多样化、大规模基准数据集，用于多文化价值预测任务，该任务要求模型根据人口统计背景生成对价值问题的评级响应。我们从WVS响应中构建了超过2000万条"（人口统计属性、价值问题）→答案"形式的示例。我们对数据集进行了案例研究，表明该任务对强大的开放和封闭源模型都具有挑战性。Alpaca-7B、Vicuna-7B-v1.5、Mixtral-8x7B-Instruct-v0.1和GPT-3.5 Turbo在仅11.1%、25.0%、72.2%和75.0%的问题上分别实现了与人类归一化答案分布小于0.2的Wasserstein 1距离。WorldValuesBench为研究语言模型在多文化价值感知方面的局限性和机会开辟了新的研究方向。
引用
@article{arxiv.2404.16308,
title = {WorldValuesBench: A Large-Scale Benchmark Dataset for Multi-Cultural Value Awareness of Language Models},
author = {Wenlong Zhao and Debanjan Mondal and Niket Tandon and Danica Dillion and Kurt Gray and Yuling Gu},
journal= {arXiv preprint arXiv:2404.16308},
year = {2024}
}
备注
Accepted at LREC-COLING 2024. Wenlong and Debanjan contributed equally