锻炼？我还以为你说的是“额外炸薯条”：利用句子分隔与多跳注意力进行梗图情感分析
计算与语言
2021-03-24 v1
摘要
当今互联网上充斥着梗图（meme），它们幽默、讽刺或反讽，令人发笑。据一项调查，在 13-35 岁年龄段的社交媒体用户中，33% 每天发送梗图，而超过 50% 每周发送。其中一些梗图在极短时间内迅速传播，其病毒性取决于（文本与视觉）内容的新颖性。少数传达积极信息，如有趣或励志语录；而另一些则旨在通过讽刺或攻击性信息嘲弄/伤害他人感情。尽管梗图具有吸引力且在社交媒体上迅速涌现，对其的有效分析尚未得到应有的充分尝试。在本文中，我们试图解决 SemEval'20-Memotion Analysis 竞赛中提出的同一组任务。我们提出了一种基于多跳注意力的深度神经网络框架，称为 MHA-MEME，其主要目标是利用视觉模态（图像）与各种文本片段之间的空间域对应关系来提取细粒度特征表示以进行分类。我们在“Memotion Analysis”数据集上针对全部三个子任务评估 MHA-MEME——情感分类、情感分类（affect classification）与情感类量化。我们的比较研究显示，相较于参赛的顶级系统，MHA-MEME 在所有三个任务上均取得 SOTA 性能。与在所有三个任务上表现不一致的基线不同，MHA-MEME 平均而言在所有任务上均优于基线。此外，我们在另一组人工标注测试样本上验证了 MHA-MEME 的泛化能力，并观察到其表现一致。最后，我们确立了 MHA-MEME 的可解释性。
引用
@article{arxiv.2103.12377,
title = {Exercise? I thought you said 'Extra Fries': Leveraging Sentence Demarcations and Multi-hop Attention for Meme Affect Analysis},
author = {Shraman Pramanick and Md Shad Akhtar and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2103.12377},
year = {2021}
}
备注
Accepted for publication in ICWSM-2021