BengaliFig：针对巴尔喀什语中隐喻及文化依赖推理的低资源挑战
计算与语言
2025-11-27 v2 人工智能
摘要
大型语言模型在广泛的多语言基准测试中表现出色，但在隐喻和文化依赖推理方面，尤其是在低资源环境中，评估仍不充分。我们提出BengaliFig，一个紧凑且丰富标注的挑战数据集，旨在填补巴尔喀什语这种广泛使用的低资源语言中的这一空白。数据集包含435个独特的谜语，来源于巴尔喀什语的口头和文学传统。每项都沿着五个正交维度进行标注，涵盖推理类型、陷阱类型、文化深度、答案类别和难度，并通过一种受约束的AI辅助管道自动转换为多选格式。我们在零样本和少样本链式思考提示下评估了八个主要提供商的前沿LLM，揭示了在隐喻性和文化特定推理方面存在持续的弱点。因此，BengaliFig既为评估LLM在低资源文化背景下的鲁棒性提供了诊断探针，也为实现包容性和传统感知的NLP评估迈出了一步。
引用
@article{arxiv.2511.20399,
title = {BengaliFig: A Low-Resource Challenge for Figurative and Culturally Grounded Reasoning in Bengali},
author = {Abdullah Al Sefat},
journal= {arXiv preprint arXiv:2511.20399},
year = {2025}
}