生成式大语言模型的丹麦语素养

生成式大语言模型（GLLMs）的语言技术“登月时刻”并不局限于英语：这些模型也为低资源语言带来了技术应用、投资和炒作的热潮。然而，直到最近，由于缺乏可用的评估语料库，这些模型在丹麦语等语言上的能力仍难以在定性演示之外得到验证。我们提出了一个用于评估“丹麦语素养”（Danoliteracy）的GLLM基准，该指标衡量在八个不同场景下的丹麦语言和文化能力，例如丹麦公民身份测试和抽象性社交媒体问答。我们发现，这个有限规模的基准能够产生一个稳健的排名，该排名与人类反馈的相关性在GPT-4和Claude Opus模型上达到 $\rho \sim 0.8$，且这两个模型获得了最高排名。通过分析这些模型在不同场景下的结果，我们发现一个强大的潜在因素解释了GLLMs在丹麦语中 $95\%$ 的场景性能差异，这暗示了模型在语言适应方面存在一个一致性的 $g$ 因子。