用于多模态表情包情感分类的单模态中间训练
计算与语言
2025-08-08 v1
摘要
互联网表情包对于自动化情感分类而言仍是一种具有挑战性的用户生成内容形式。带标签表情包的匮乏是开发多模态表情包情感分类器的障碍。为解决带标签表情包的短缺问题，我们提出利用单模态（仅图像和仅文本）数据来补充多模态表情包分类器的训练。在本工作中，我们提出了一种新颖的监督式中间训练变体，其使用相对丰富的带情感标签的单模态数据。我们的结果显示，引入单模态文本数据带来了统计显著的性能提升。此外，我们表明下游模型的性能可在带标签表情包训练集减少 40% 的情况下保持不变。
引用
@article{arxiv.2308.00528,
title = {Unimodal Intermediate Training for Multimodal Meme Sentiment Classification},
author = {Muzhaffar Hazman and Susan McKeever and Josephine Griffith},
journal= {arXiv preprint arXiv:2308.00528},
year = {2025}
}
备注
Accepted for Publication at RANLP2023