FanChuan：一个多语言且图结构的讽刺检测与分析基准
计算与语言
2025-02-25 v1 人工智能
机器学习
摘要
讽刺是社交媒体上的一种新兴现象，个体往往以与自身相反的角色或立场进行模仿，常用于幽默、挑衅或争议。检测和分析讽刺具有挑战性，往往依赖上下文信息，而这在理解文化价值、促进亚文化和增强自我表达方面发挥着关键作用。然而，由于现有数据有限且缺乏多样性，讽刺研究受到限制。为填补这一差距，我们构建了来自英文和中文语料库的七个讽刺数据集，总计 14,755 位标注用户和 21,210 条标注评论。为提供充足的上下文信息，我们还收集了回复并构建用户互动图，以提供更丰富的上下文信息，这些信息在现有数据集中缺失。有了这些数据集，我们在三个关键任务上测试了传统方法和大型语言模型 (LLM)：(1) 讽刺检测，(2) 带讽刺的评论情感分析，(3) 带讽刺的用户情感分析。我们的大量实验表明，讽刺相关任务对所有模型仍具有挑战性，上下文信息起着关键作用。有趣的是，我们发现在某些情境下，传统句子嵌入方法结合简单分类器可以超过先进的 LLM，即 DeepSeek-R1 和 GPT-o3，这突显了讽刺作为 LLM 挑战的重要性。
引用
@article{arxiv.2502.16503,
title = {FanChuan: A Multilingual and Graph-Structured Benchmark For Parody Detection and Analysis},
author = {Yilun Zheng and Sha Li and Fangkun Wu and Yang Ziyi and Lin Hongchao and Zhichao Hu and Cai Xinjun and Ziming Wang and Jinxuan Chen and Sitao Luan and Jiahao Xu and Lihui Chen},
journal= {arXiv preprint arXiv:2502.16503},
year = {2025}
}