DaKultur：针对丹麦语语言模型的文化意识评估实验
计算与语言
2025-04-04 v1 计算机与社会
人机交互
摘要
大型语言模型(LLM)已广泛应用于社会领域。然而，尽管它们能够以超越英语的语言与用户交互，但被证明缺乏文化意识，为边缘语言社区提供Ankocentric 或不恰当的响应。为调查这一差距并消除语言技能与文化技能的影响，本文对中资源语言丹麦语进行首次文化评估研究，其中本土说话者提示不同的模型以解决需要文化意识的任务。我们分析了来自 63 名人口统计上多样化参与者的 1,038 项互动结果，突出了文化适应的开放挑战：特别是，当前使用的自动翻译数据对训练或衡量文化适应不够；而本土说话者数据训练可以显著提升响应接受率。我们公开 our 研究数据作为 DaKultur——首个本土丹麦语文化意识数据集。
引用
@article{arxiv.2504.02403,
title = {DaKultur: Evaluating the Cultural Awareness of Language Models for Danish with Native Speakers},
author = {Max Müller-Eberstein and Mike Zhang and Elisa Bassignana and Peter Brunsgaard Trolle and Rob van der Goot},
journal= {arXiv preprint arXiv:2504.02403},
year = {2025}
}
备注
Accepted at C3NLP at NAACL