解码表情包：跨语言学术模型的叙事角色分类基准测试
计算与语言
2025-07-01 v1 计算机与社会
摘要
本工作研究了在英语和代码混合(英语-印地语)语言环境下，识别互联网表情包中叙事角色——英雄、反派、受害者和其他——的这一挑战性任务。基于最初偏向'其他'类的标注数据集，我们探索了更均衡且语言多样化的扩展数据集，该数据集原本作为CLEM 2024共享任务的一部分被引入。全面的词汇和结构分析突显了真实表情包中使用的细腻、文化特定且语境丰富的语言，与人为构建的仇恨内容形成鲜明对比，后者表现为显性且重复的词汇标记。为评估角色检测任务，我们评估了广泛的模型，包括微调后的多语言变换器、情感和仇恨感知分类器、指令调优的大语言模型以及多模态视觉语言模型。在零样本设置下进行性能评估，使用精确率、召回率和F1指标进行衡量。虽然DeBERTa-v3和Qwen2.5-VL等大型模型展现出显著的提升，但结果揭示了在可靠识别'受害者'类别和跨文化/代码混合内容方面仍面临持续挑战。我们还探索了提示设计策略以引导多模态模型，发现包含结构化指令和角色定义的混合提示虽仅提供有限的改进，却表现出一致的正面效果。我们的发现强调了在建模视觉-文本内容中捕捉细微叙事框架的重要性，涉及文化锚定、提示工程和多模态推理。
引用
@article{arxiv.2506.23122,
title = {Decoding Memes: Benchmarking Narrative Role Classification across Multilingual and Multimodal Models},
author = {Shivam Sharma and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2506.23122},
year = {2025}
}
备注
This work has been submitted to the IEEE for possible publication