聘请你的人类学家！从人类学视角重新思考文化基准

大型语言模型的文化评估越来越重要，但当前的基准方法常将文化简化为静态事实或单一价值观。这一观点与人类学强调文化是动态的、历史性的，并在实践中展现的理念相冲突。为分析这一差距，我们提出了一个四部分框架，用于归类基准方法如何表述文化，如知识、偏好、绩效或偏见。借助这一视角，我们对 20 个文化基准进行了定性分析，识别出六项常见的方法论问题，包括将国家等同于文化、忽视文化内部多样性、依赖过于简化的调查格式等。drawing on established anthropological methods，我们提出了具体改进建议：融入真实世界的叙事和情景、在设计和验证中涉及文化社区、以及在情境中而非孤立环境中进行评估。我们的目标是引导文化基准的开发，超越静态记忆任务，更准确地捕捉模型在复杂文化情境中的响应。