LPGNet：一种用于多模态情感识别的轻量级并行注意力与门控融合网络
音频与语音处理
2025-08-13 v1 声音
摘要
对话情感识别（ERC）旨在通过使用文本和音频等多种输入类型来预测每条话语的情感状态。尽管基于 Transformer 的模型在此任务上表现出色，但它们通常面临两个主要问题：高计算成本和对说话人信息的严重依赖。这些问题降低了它们在真实对话中的泛化能力。为解决这些挑战，我们提出 LPGNet，一种用于多模态 ERC 的轻量级并行注意力与门控融合网络。LPGNet 的核心是轻量级并行交互注意力（LPIA）模块。该模块用并行的点积注意力取代传统的堆叠式 Transformer 层，能更高效地建模模态内和模态间的关系。为增强情感特征学习，LPGNet 还采用了一种双门控融合方法，以灵活、动态的方式筛选和组合来自不同输入类型的特征。此外，LPGNet 完全移除了说话人嵌入，使模型能够独立于说话人身份工作。在 IEMOCAP 数据集上的实验表明，LPGNet 在四类情感分类中达到了超过 87% 的准确率和 F1 分数，优于强基线模型，同时使用更少的参数并展现出更好的跨说话人泛化能力。
引用
@article{arxiv.2508.08925,
title = {LPGNet: A Lightweight Network with Parallel Attention and Gated Fusion for Multimodal Emotion Recognition},
author = {Zhining He and Yang Xiao},
journal= {arXiv preprint arXiv:2508.08925},
year = {2025}
}
备注
Under peering review