量化AI文化智能的统一框架
人工智能
2026-03-23 v2 计算与语言
计算机与社会
摘要
随着生成式AI技术在全球范围内不断推向市场，评估其在不同文化背景下操作能力的能力已成为迫切的优先事项。虽然近年来已有大量且亟需的努力针对文化基准进行评估，但这些努力主要聚焦于文化的特定方面和评估。尽管这些努力有助于我们理解文化能力，但我们需要一种统一且系统的方法，以便在规模上全面评估多样化的文化维度。drawing on measurement theory，我们提出了一个原则化的框架，用于将多方面文化能力的指标聚合为统一的文化智能评估。我们首先通过识别文化的核心领域来制定工作定义。随后，我们引入一个面向广泛用途、系统且可扩展的框架，用于评估AI系统的文化智能。drawing on psychometric measurement validity theory的理论框架，我们将背景概念（即文化智能）与其通过测量实现的运作化解耦。我们将文化智能概念化为一套跨越多样化领域的核心能力，然后通过一组设计用于可靠测量的指标来实现其操作化。最后，我们确定了数据收集、探针策略和评估指标方面的考量、挑战和研究路径。
引用
@article{arxiv.2603.01211,
title = {A Unified Framework to Quantify Cultural Intelligence of AI},
author = {Sunipa Dev and Vinodkumar Prabhakaran and Rutledge Chin Feman and Aida Davani and Remi Denton and Charu Kalia and Piyawat Lertvittayakumjorn and Madhurima Maji and Rida Qadri and Negar Rostamzadeh and Renee Shelby and Romina Stella and Hayk Stepanyan and Erin van Liemt and Aishwarya Verma and Oscar Wahltinez and Edem Wornyo and Andrew Zaldivar and Saška Mojsilović},
journal= {arXiv preprint arXiv:2603.01211},
year = {2026}
}