Kalahi：面向菲律宾语的手工文化 LLM 评估套件
计算与语言
2025-07-02 v4 人工智能
摘要
当今多语言大型语言模型 (LLM) 未必能为菲律宾用户提供恰当且相关的文化响应。我们介绍 Kalahi，一个由菲律宾籍母语者共同打造的文化 LLM 评估套件。该套件由 150 组高质量、手工编写且含义细腻的提示词组成，用于测试 LLM 在生成符合菲律宾共享文化知识与价值观的文本方面的能力。强大的 LLM 在 Kalahi 上的表现表明其能够生成类似菲律宾平均人士在特定情境下会说或做的响应。我们对支持多语言和菲律宾语的 LLM 进行了实验。结果显示，Kalahi 虽然对菲律宾人来说较为容易，但对 LLM 来说则具有挑战性，最佳模型仅能正确回答 46.0% 的问题，而母语菲律宾人表现为 89.10%。因此，Kalahi 可用于准确可靠地评估菲律宾文化在 LLM 中的表现。
引用
@article{arxiv.2409.15380,
title = {Kalahi: A handcrafted, grassroots cultural LLM evaluation suite for Filipino},
author = {Jann Railey Montalan and Jian Gang Ngui and Wei Qi Leong and Yosephine Susanto and Hamsawardhini Rengarajan and Alham Fikri Aji and William Chandra Tjhi},
journal= {arXiv preprint arXiv:2409.15380},
year = {2025}
}
备注
Accepted for presentation at Paclic 38, 2024