CIVICS：构建用于检验大语言模型中文化价值观的数据集
计算与语言
2024-05-24 v1 人工智能
摘要
本文介绍了“CIVICS：面向社会影响的文化知情与价值观包容语料库”数据集，旨在评估大语言模型在多种语言和价值敏感话题上的社会文化变异。我们创建了一个手工制作的多语言价值负载提示数据集，涉及特定的社会敏感话题，包括LGBTQI权利、社会福利、移民、残疾权利和代孕。CIVICS旨在生成显示大语言模型编码和隐含价值观的响应。通过我们的动态标注流程、定制提示设计和实验，我们研究了开放权重大语言模型如何回应价值敏感问题，探索了它们在不同语言和文化背景下的行为。使用基于对数概率和长格式响应的两种实验设置，我们展示了不同大语言模型之间的社会文化变异性。具体而言，涉及长格式响应的实验表明，拒绝在不同模型中被触发的情况不同，但在英语或翻译陈述中一致且更频繁地出现。此外，特定话题和来源导致模型答案之间的差异更显著，尤其是在移民、LGBTQI权利和社会福利方面。如我们的实验所示，CIVICS数据集旨在作为未来研究的工具，促进更广泛语言环境下的可重复性和透明度，并进一步开发尊重和反映全球文化多样性与价值多元性的人工智能技术。CIVICS数据集和工具将在发表后根据开放许可提供；匿名版本目前可在https://huggingface.co/CIVICS-dataset获取。
引用
@article{arxiv.2405.13974,
title = {CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models},
author = {Giada Pistilli and Alina Leidinger and Yacine Jernite and Atoosa Kasirzadeh and Alexandra Sasha Luccioni and Margaret Mitchell},
journal= {arXiv preprint arXiv:2405.13974},
year = {2024}
}