揭示：何种因素使语言奥林匹克谜题对LLM而具挑战性？
计算与语言
2025-08-18 v1
摘要
大型语言模型（LLM）在推理任务中展现出潜力，但在语言谜题上的表现始终表现不佳。这些谜题常源自语言奥林匹克（LO）比赛，提供了极低数据污染环境以评估LLM在低资源语言上的语言推理能力。本文通过为每个问题标注语言学特征，揭示LLM的弱点。我们的分析表明，LLM在处理高形态复杂度谜题时表现较差，而在涉及也见于英语的语言特征的谜题中表现更佳。我们还展示，将词语分割为形态单元作为预处理步骤可提高可解性，表明需要更具信息性和语言特定的分词器。这些发现为理解语言推理和低资源语言建模中的挑战提供了见解。
引用
@article{arxiv.2508.11260,
title = {UNVEILING: What Makes Linguistics Olympiad Puzzles Tricky for LLMs?},
author = {Mukund Choudhary and KV Aditya Srivatsa and Gaurja Aeron and Antara Raaghavi Bhattacharya and Dang Khoa Dang Dinh and Ikhlasul Akmal Hanif and Daria Kotova and Ekaterina Kochmar and Monojit Choudhury},
journal= {arXiv preprint arXiv:2508.11260},
year = {2025}
}
备注
Accepted to COLM 2025