探索LLM掌握中文厚香语言的能力边界
计算与语言
2026-04-21 v2
摘要
尽管大型语言模型（LLMs）在通用语言任务上取得了显著成就，但其在中文厚香语言——一种代表中国网络语境中亚文化语言的任务上的表现仍鲜有探索。本文引入Mouse，一个专门用于评估LLM在包含厚香语言的NLP任务能力的基准，涵盖六个任务。实验结果显示，当前最先进的（SOTA）LLM在多个任务上表现有限，然而在涉及语境语义理解的任务上表现良好。此外，我们进一步讨论了SOTA LLM在厚香语言上表现普遍较差的原因，检验了用于翻译任务的LLM作为裁判的方法是否与人类判断相吻合，并分析影响厚香翻译的关键因素。我们的研究旨在推动NLP社区在多文化融合和互联网语言演变动态方面的进一步研究。我们的代码和数据已公开。
引用
@article{arxiv.2604.15841,
title = {Exploring the Capability Boundaries of LLMs in Mastering of Chinese Chouxiang Language},
author = {Dianqing Lin and Tian Lan and Jiali Zhu and Jiang Li and Wei Chen and Xu Liu and Aruukhan and Xiangdong Su and Hongxu Hou and Guanglai Gao},
journal= {arXiv preprint arXiv:2604.15841},
year = {2026}
}
备注
Accepted to ACL 2026 Findings