多模态立场检测：新数据集与模型

立场检测是一项具有挑战性的任务，旨在从社交媒体平台识别针对特定目标的公众意见。以往关于立场检测的工作主要集中在纯文本上。在本文中，我们研究了由文本和图像组成的推文的多模态立场检测，这在当今快速发展的社交媒体平台上很常见，人们经常发布多模态消息。为此，我们基于Twitter创建了五个不同领域的新多模态立场检测数据集，其中每个示例由文本和图像组成。此外，我们提出了一种简单而有效的目标多模态提示调优框架（TMPT），其中利用目标信息从文本和视觉模态学习多模态立场特征。在我们五个基准数据集上的实验结果表明，所提出的TMPT在多模态立场检测中取得了最先进的性能。