M3Hop-CoT：基于多模态多跳链式思维的反仇女表情识别
计算与语言
2024-10-15 v1 计算机与社会
机器学习
摘要
近年来，针对女性的仇恨在社交媒体平台上呈显著上升，尤其通过使用仇女表情。这些表情常以隐晻且含义模糊的方式针对女性，使自动化系统的检测备受挑战。最近，大型语言模型(LLM)在链式思维(CoT)提示中展现出在生成中间推理链以促进多模态任务方面的潜力，但往往忽视视觉模态中隐藏的文化多样性和情感、情境知识等关键方面。为此，我们引入一种用于仇女表情识别的多模态多跳CoT(M3Hop-CoT)框架，结合CLIP基分类器和集成实体-对象-关系的多模态CoT模块。M3Hop-CoT采用三步多模态提示原则，以引导情感、目标意识和情境知识进行表情分析。我们的实证评估，包括定性和定量分析，验证了M3Hop-CoT框架在SemEval-2022 Task 5(MAMI任务)数据集上的有效性，突出其在宏F1分数方面的卓越性能。此外，我们通过在多个基准表情数据集上评估模型的泛化能力，全面洞察了该方法在不同数据集上的有效性。
引用
@article{arxiv.2410.09220,
title = {M3Hop-CoT: Misogynous Meme Identification with Multimodal Multi-hop Chain-of-Thought},
author = {Gitanjali Kumari and Kirtan Jain and Asif Ekbal},
journal= {arXiv preprint arXiv:2410.09220},
year = {2024}
}
备注
34 Pages. Accepted in The 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP 2024). Main Conference