NormAd：衡量大型语言模型文化适应性的框架
计算与语言
2025-07-10 v10
摘要
为了能够有效且安全地部署给全球用户群体，大型语言模型可能不仅需要了解用户价值观和文化，还需要调整其输出以适应用户价值观和文化。我们引入了 NormAd，一个评估大型语言模型文化适应性的框架，具体测量其判断社会可接受性的能力，涵盖从抽象价值观到明确社会规范等不同文化规范具体性水平。作为我们框架的实例化，我们创建了 NormAd-Eti，这是一个包含 2.6k 情境描述的基准测试，代表了来自 75 个国家的与社交礼仪相关的文化规范。通过对 NormAd-Eti 的全面实验，我们发现大型语言模型难以准确判断这些不同程度文化语境下的社会可接受性，并且相比于全球南方文化，对以英语为中心的文化表现出更强的适应性。即使在提供了相关社会规范的最简单设定下，表现最好的大型语言模型的性能（< 82%）也落后于人类（> 95%）。在具有抽象价值观和国家信息的设定中，模型性能大幅下降（< 60%），而人类准确率依然很高（> 90%）。此外，我们发现模型更擅长识别社会可接受而非不可接受的情境。我们的发现展示了大型语言模型在社会文化推理方面的当前缺陷，这些缺陷阻碍了其对全球受众的适应性。
引用
@article{arxiv.2404.12464,
title = {NormAd: A Framework for Measuring the Cultural Adaptability of Large Language Models},
author = {Abhinav Rao and Akhila Yerukola and Vishwa Shah and Katharina Reinecke and Maarten Sap},
journal= {arXiv preprint arXiv:2404.12464},
year = {2025}
}
备注
Published at NAACL 2025, Albuquerque, New Mexico, USA