面向少样本仇恨模因检测的模块化网络

本文解决了在仅有少量标注样本的低资源环境下检测仇恨模因的挑战。我们的方法利用了低秩适配（LoRA）的模块化特性，这是一种广泛使用的参数高效微调技术。我们首先在选定的与仇恨模因检测相关的任务上使用LoRA微调大型语言模型（LLM），从而生成一组LoRA模块。这些模块具备仇恨模因检测所需的基本推理能力。然后，我们利用少量可用标注样本训练一个模块组合器，该组合器根据相关性为LoRA模块分配权重。模型的可学习参数与LoRA模块的数量成正比。这种以LLM为基础、通过LoRA模块增强的模块化网络，在仇恨模因检测中展现出更强的泛化能力。我们的评估覆盖了三个专为少样本学习场景下仇恨模因检测设计的数据集。所提出的方法优于传统的上下文学习，后者在推理过程中计算量也更大。