多模态变换器是分层模态异构图
计算与语言
2025-08-25 v1 人工智能
摘要
多模态情感分析（MSA）是一项快速发展的领域，旨在整合多模态信息来识别情感，而现有模型在这方面取得了显著进展。MSA的核心挑战在于多模态融合，这主要由多模态变换器（MulTs）所解决。虽然MulTs已成为范式，但其效率方面存在顾虑。在本工作中，我们从效率优化的角度出发，提出并证明MulTs是分层模态异构图（HMHG），并引入变换器的图结构表示模式。基于此模式，我们提出了交错掩码（IM）机制，以设计图结构交错掩码多模态变换器（GsiT）。它在IM下等价于MulTs，通过权重共享机制实现信息无扰乱的高效融合，仅需纯粹MulTs参数的1/3即可实现全模态融合。实现一种称为分解的Triton内核，以确保避免额外的计算开销。此外，它在性能上显著优于传统MulTs。为进一步验证GsiT本身和HMHG概念的有效性，我们将其集成到多个最先进的模型中，在广泛使用的MSA数据集上实现了显著的性能提升和参数减少。
引用
@article{arxiv.2505.01068,
title = {Multimodal Transformers are Hierarchical Modal-wise Heterogeneous Graphs},
author = {Yijie Jin and Junjie Peng and Xuanchao Lin and Haochen Yuan and Lan Wang and Cangzhi Zheng},
journal= {arXiv preprint arXiv:2505.01068},
year = {2025}
}