基于模态特定因子的高效低秩多模态融合

多模态研究是人工智能的一个新兴领域，该领域的主要研究问题之一为多模态融合。多模态数据的融合是将多个单模态表示整合为一个紧凑多模态表示的过程。该领域的先前研究利用了张量对于多模态表示的表达能力。然而，这些方法常遭受因将输入变换为张量而引入的维度与计算复杂度的指数级增长。在本文中，我们提出低秩多模态融合方法，其使用低秩张量执行多模态融合以提高效率。我们在三个不同任务上评估我们的模型：多模态情感分析、说话人特质分析和情绪识别。我们的模型在所有这些任务上取得了有竞争力的结果，同时大幅降低了计算复杂度。额外的实验也表明，我们的模型在广泛的低秩设置下均能稳健运行，并且相较于其他利用张量表示的方法，在训练和推理上确实更高效。