LLM 能否生成并求解语言学奥林匹克谜题？

在本文中，我们引入了一组新颖且令人兴奋的任务组合：语言学谜题的求解与生成。我们重点关注用于高中生语言学奥林匹克的谜题。我们首先扩展了现有的语言学谜题求解任务基准。我们探索了大型语言模型（LLM）的使用，包括诸如 OpenAI 的 o1 等近期的 SOTA 模型，以求解语言学谜题，并分析了它们在各种语言学主题上的表现。我们证明，LLM 在大多数谜题类型上的表现优于人类，但以文字系统为中心的谜题以及研究不足的语言的谜题除外。我们利用谜题求解实验中获得的见解来指导谜题生成这一新颖任务。我们相信，自动化谜题生成，即使是相对简单的谜题，也有望扩大人们对语言学的兴趣，并将该领域介绍给更广泛的受众。这一发现突显了语言学谜题生成作为研究任务的重要性：此类谜题不仅可以促进语言学发展，还可以支持关于罕见和研究不足语言的知识的传播。