利用客户反馈进行多模态洞察提取

企业可以从不同模态（如文本和图像）的客户反馈中受益，以改进其产品和服务。然而，一次性从客户反馈中提取可操作且相关的文本片段和图像对是困难的。在本文中，我们提出了一种新颖的多模态方法，该方法在潜在空间中融合图像和文本信息，并使用基于图像-文本的文本解码器对其进行解码，以提取相关的反馈片段。我们还引入了一种弱监督数据生成技术，为该任务生成训练数据。我们在未见数据上评估了我们的模型，并证明它可以有效地从多模态客户反馈中挖掘可操作的洞察，在 F1 分数上比现有基线高出 14 个百分点。