用于情感分析的带分层融合的适配多模态BERT
计算与语言
2022-12-02 v1 计算机视觉与模式识别
机器学习
摘要
多模态学习流程已从预训练语言模型的成功中获益。然而，这是以增加模型参数为代价的。在这项工作中，我们提出适配多模态BERT（AMB），一种基于BERT的多模态任务架构，它结合了适配器模块与中间融合层。适配器针对当前任务调整预训练语言模型，而融合层执行特定任务的分层音频-视觉信息与文本BERT表示的融合。在适配过程中，预训练语言模型参数保持冻结，从而实现快速、参数高效的训练。在我们的消融实验中，我们看到这种方法产生了高效的模型，其表现可超越微调的对应模型，并且对输入噪声具有鲁棒性。我们在CMU-MOSEI上的情感分析实验表明，AMB在各指标上均优于当前最先进水平（SOTA）， resulting error相对降低3.4%，7类分类准确率相对提升2.1%。
引用
@article{arxiv.2212.00678,
title = {Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis},
author = {Odysseas S. Chlapanis and Georgios Paraskevopoulos and Alexandros Potamianos},
journal= {arXiv preprint arXiv:2212.00678},
year = {2022}
}