大型语言模型是否是持续在线冲浪者？——中文网络段子解释数据集
计算与语言
2025-10-02 v1
摘要
大型语言模型（LLM）在从 Internet 获得的大量文本上进行训练，但它们是否真正理解快速在线传播的 viral 内容——即常见的网络段子？本文介绍 CHIME，即 CHinese Internet Meme Explanation（中文网络段子解释）数据集。该数据集包含来自中国网络的流行基于短语的段子，标注了其含义、来源、示例句子、类型等详细信息。为评估 LLM 是否理解这些段子，我们设计了两个任务。第一个任务中，我们评估了模型解释给定段子、识别其来源并生成恰当示例句子的能力。结果表明，尽管 LLM 能解释一些段子的含义，但对于具有文化和语言细微差别的段子类型，性能显著下降。此外，他们始终难以提供准确的段子来源。在第二个任务中，我们创建了一组多选题（MCQs），要求 LLM 在上下文句子中选择最合适的段子填空。虽然所评估的模型能够提供正确答案，但其性能在人类水平以下。我们已公开 CHIME，希望它能促进未来关于计算段子理解的研究。
引用
@article{arxiv.2510.00567,
title = {Are Large Language Models Chronically Online Surfers? A Dataset for Chinese Internet Meme Explanation},
author = {Yubo Xie and Chenkai Wang and Zongyang Ma and Fahui Miao},
journal= {arXiv preprint arXiv:2510.00567},
year = {2025}
}
备注
Accepted to EMNLP 2025 Main Conference. 22 pages, 3 figures, 13 tables. GitHub: github.com/yuboxie/chime