面向标签高效模因分析的领域感知自监督预训练
计算与语言
2022-09-30 v1 人工智能
多媒体
摘要
现有的自监督学习策略受限于有限的目标集合或主要面向单模态应用的通用下游任务。这使得在复杂性与领域亲和性上各异的关键多模态应用（如模因分析）进展孤立。本文提出两种自监督预训练方法，即 Ext-PIE-Net 与 MM-SimCLR，它们（i）在预训练中使用现成的多模态仇恨言论数据，且（ii）通过引入多个专门前置任务进行自监督学习，有效满足模因分析所需的复杂多模态表示学习。我们尝试不同自监督策略，包括可能有助于学习丰富跨模态表示的变体，并使用 Hateful Memes 任务上流行的线性探测进行评估。所提方案通过标签高效训练强力媲美全监督基线，同时在 Memotion 挑战的三个任务上分别以 0.18%、23.64% 和 0.93% 的性能增益明显超越它们。进一步，我们通过在 HarMeme 任务上报告具竞争力的性能来证明所提方案的泛化性。最后，我们利用更少标注训练样本分析任务特定学习，并从经验上确立所学表示的质量，论证自监督策略的复杂度与手头下游任务相关。我们的工作凸显了涉及专门前置任务的更优多模态自监督方法对于高效微调与可泛化性能的必要性。
引用
@article{arxiv.2209.14667,
title = {Domain-aware Self-supervised Pre-training for Label-Efficient Meme Analysis},
author = {Shivam Sharma and Mohd Khizir Siddiqui and Md. Shad Akhtar and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2209.14667},
year = {2022}
}
备注
Accepted at AACL-IJCNLP 2022 main conference. 9 Pages (main content); 6 Figures; 5 Tables and an Appendix