没有文化捷径：印尼多跳问答基准测试
计算与语言
2026-02-04 v1
摘要
理解文化需要跨越情境、传统和隐式社会知识进行推理，这远超记忆孤立事实的能力。然而，大多数以文化为焦点的问答（QA）基准测试依赖单跳问答，可能允许模型利用浅层线索，而非展示真正的文化推理能力。本文引入ID-MoCQA，首个大规模多跳问答数据集，用于评估大型语言模型（LLM）的文化理解能力，基于印尼传统，提供英文和印尼语两种版本。我们提出一种新框架，系统性地将单跳文化问题转化为跨越六类线索（如常识、时间、地理）的多跳推理链。我们的多阶段验证管道结合专家审阅和LLM-as-a-judge过滤，确保高质量的问答对。我们的评估显示，现有SOTA模型在文化推理方面存在显著差距，尤其在需要细致推理的任务上。ID-MoCQA为推动LLM的文化专业能力提供了具有挑战性和必要性的基准测试。
引用
@article{arxiv.2602.03709,
title = {No Shortcuts to Culture: Indonesian Multi-hop Question Answering for Complex Cultural Understanding},
author = {Vynska Amalia Permadi and Xingwei Tan and Nafise Sadat Moosavi and Nikos Aletras},
journal= {arXiv preprint arXiv:2602.03709},
year = {2026}
}