面向少量样本的双模态感知门控提示调优用于讽刺检测
计算与语言
2025-07-08 v1
摘要
社交媒体上双模态内容的广泛使用提升了对有效讽刺检测的需求，以改进意见抽取。然而，现有模型高度依赖大量标注数据，在标注数据稀缺的实际场景中不够适用。这促使我们在少量样本设置下探索此问题。为此，我们提出DMDP（Deep Modality-Disentangled Prompt Tuning），即一种 novel 用于少量样本双模态讽刺检测的框架。与先前方法在多个模态上使用浅层统一提示不同，DMDP 为文本和视觉编码器采用门控、模态特定的深层提示。这些提示在多个层面注入，以实现层次化特征学习并更好地捕捉多样化的讽刺类型。为增强单模态内学习，我们引入跨层提示共享机制，使模型能够聚合低层和高层语义线索。此外，一个跨模态提示对齐模块实现了图像和文本表示之间的细粒度互动，提高了模型检测微妙讽刺意图的能力。在两个公开数据集上的实验表明，DMDP 在少量样本和极端低资源设置下均表现出优越性能。进一步的跨数据集评估显示，DMDP 在跨域情境下具有良好的概括性，始终优于基线方法。
引用
@article{arxiv.2507.04468,
title = {Dual Modality-Aware Gated Prompt Tuning for Few-Shot Multimodal Sarcasm Detection},
author = {Soumyadeep Jana and Abhrajyoti Kundu and Sanasam Ranbir Singh},
journal= {arXiv preprint arXiv:2507.04468},
year = {2025}
}