PowMix：面向多模态情感分析的多功能正则化器
计算与语言
2023-12-20 v1
摘要
多模态情感分析（MSA）利用异构数据源来解释人类情感的复杂本质。尽管在多模态架构设计方面取得了显著进展，但该领域仍缺乏全面的正则化方法。本文提出了 PowMix，这是一种多功能嵌入空间正则化器，它建立在基于单模态混合的正则化方法的优势之上，并引入了专门针对多模态任务的新型算法组件。PowMix 集成在多模态架构的融合阶段之前，并促进模态内混合（例如将文本与文本混合）以充当正则化器。PowMix 由五个组件组成：1) 数量可变的生成混合样本，2) 混合因子重加权，3) 各向异性混合，4) 动态混合，以及 5) 跨模态标签混合。在基准 MSA 数据集和广泛多样的架构设计上的大量实验证明了 PowMix 的有效性，具体表现为相对于基线和现有混合方法的一致性能提升。深入的消融研究突出了每个 PowMix 组件的关键贡献以及它们如何协同增强性能。此外，算法分析展示了 PowMix 在不同场景下的行为，特别是比较了早期融合与晚期融合架构。值得注意的是，PowMix 在不牺牲模型鲁棒性或放大文本主导性的情况下提升了整体性能。它在数据有限的情况下也保持了强劲的性能。我们的发现将 PowMix 定位为一种极具前景的 MSA 多功能正则化策略。代码将公开发布。
引用
@article{arxiv.2312.12334,
title = {PowMix: A Versatile Regularizer for Multimodal Sentiment Analysis},
author = {Efthymios Georgiou and Yannis Avrithis and Alexandros Potamianos},
journal= {arXiv preprint arXiv:2312.12334},
year = {2023}
}
备注
Preprint