PGF-Net：高效多模态情感分析的渐进门控融合框架
机器学习
2025-08-25 v1 计算与语言
摘要
我们提出PGF-Net(渐进式门控融合网络)，一种新型深度学习框架，用于高效且可解释的多模态情感分析。我们的框架包含三个主要创新点。首先，我们提出渐进式层内融合范式，交叉注意力机制使文本表示能够动态查询和整合音频和视觉流中的非语言特征，置于Transformer编码器的深层次。这实现了更深入、依赖上下文的融合。其次，模型包含自适应门控仲裁机制，作为动态控制器，在原始语言信息与新融合的多模态上下文之间进行平衡，确保稳定且有意义的整合，防止噪声压倒信号。最后，采用混合参数高效微调(PEFT)策略，结合LoRA的全局适应与Post-Fusion适配器的局部细化，显著减少可训练参数，使模型轻量级，适用于资源受限场景。这些创新集成到分层编码器架构中，使PGF-Net能够进行深入、动态且可解释的多模态情感分析，同时保持卓越的参数效率。在MOSI数据集上的实验结果表明，我们的PGF-Net实现了最先进的性能，平均绝对误差(MAE)为0.691，F1分数为86.9%。值得注意的是，我们的模型仅需3.09M可训练参数即可达到这些结果，展现了性能和计算效率之间卓越的平衡。
引用
@article{arxiv.2508.15852,
title = {PGF-Net: A Progressive Gated-Fusion Framework for Efficient Multimodal Sentiment Analysis},
author = {Bin Wen and Tien-Ping Tan},
journal= {arXiv preprint arXiv:2508.15852},
year = {2025}
}