基于 BERT 和 ResNet 的多模态情感分析
计算与语言
2024-12-06 v1
摘要
随着互联网和社交媒体的快速发展，多模态数据(文本和图像)在情感分析任务中日益重要。然而，现有方法难以有效地融合文本和图像特征，这限制了分析的准确性。为了解决这个问题，提出了一种结合 BERT 和 ResNet 的多模态情感分析框架。BERT 在自然语言处理领域显示出强大的文本表示能力，ResNet 在计算机视觉领域具有优异的图像特征提取性能。首先使用 BERT 提取文本特征向量，使用 ResNet 提取图像特征表示。然后探索了多种特征融合策略，最后选择基于注意力机制的融合模型以充分利用文本和图像之间的互补信息。在公开数据集 MAVA-single 上的实验结果表明，与仅使用 BERT 或 ResNet 的单模态模型相比，所提出的多模态模型在准确率和 F1 分数上均有所提高，最高准确率达到 74.5%。该研究不仅为多模态情感分析提供了新的思路和方法，也展示了 BERT 和 ResNet 在跨域融合中的应用潜力。未来将探索更多高级的特征融合技术和优化策略，以进一步提高多模态情感分析的准确率和泛化能力。
引用
@article{arxiv.2412.03625,
title = {Multimodal Sentiment Analysis Based on BERT and ResNet},
author = {JiaLe Ren},
journal= {arXiv preprint arXiv:2412.03625},
year = {2024}
}