对齐有助于充分利用多模态数据

政治学家日益分析多模态数据。然而，对此类数据的有效分析需要对齐跨模态的信息。在本文中，我们展示了这种对齐的重要性。基于对 2,703 篇论文的系统综述，我们发现政治学家通常未对其多模态数据进行对齐。通过引入一个指导对齐选择的决策树，我们的框架强调了对齐尚未开发的潜力，并为研究设计和建模决策提供了具体建议。我们通过两个应用说明了对齐的分析价值：预测美国总统竞选广告中的情感倾向，以及对德国议会演讲进行跨模态查询以考察对极右翼 AfD 的回应。