面向仇恨表情分类的提示增强网络

社交媒体的快速扩张导致仇恨表情在媒体平台上激增，凸显了高效识别和删除的日益紧迫需求。鉴于常规多模态仇恨表情分类方法的局限——这些方法过度依赖外部知识，风险包括引入无关或冗余内容——我们开发了Pen——一种基于提示学习方法的提示增强网络框架。具体而言，在构建通过提示方法生成的序列后，我们使用语言模型对其进行编码，并对编码后的序列进行区域信息全局提取，以实现多视角感知。通过捕获推理实例和示例的全局信息，Pen能够充分利用序列信息来促进类别选择。这一方法显著提高了模型的分类准确率。此外，为增强模型在特征空间中的推理能力，我们将提示感知对比学习引入框架，以提高样本特征分布的质量。通过在两个公开数据集上的大量消融实验，我们评估了Pen框架的有效性，并与最先进的模型基线进行比较。我们的研究发现表明，Pen超越了手动提示方法，在仇恨表情分类任务中表现出卓越的泛化能力和分类准确率。我们的代码已公开于https://github.com/juszzi/Pen。