动态参数记忆：用于长序列情感识别的临时LoRA增强型LLM
计算与语言
2025-09-25 v2 人工智能
摘要
近期研究聚焦于将语音大型语言模型(SLLM)应用于改进语音情感识别(SER)。然而，语音模态中固有的高帧率严重限制了SLLM的信号处理和理解能力。例如，一个拥有4K上下文窗口的SLLM在50Hz特征抽取率下只能处理80秒的音频后就会达到容量限制。用于SLLM的输入token压缩方法忽略了情感在多个对话轮次中的连续性和惯性。这篇论文提出了一种动态参数记忆(DPM)机制，结合上下文语义和句子级情感编码，使SLLM能够在有限的上下文窗口内处理无限长度的音频。具体而言，DPM在推理期间逐步编码句子级信息和情感到一个临时LoRA模块中，以有效地“记忆”上下文信息。我们将一个情感SLLM作为主干网络，并将我们的DPM集成到推理中用于情感识别。在IEMOCAP数据集上的实验结果表明，DPM在处理长音频序列时显著提升了SLLM的情感识别能力，实现了最好的性能。
引用
@article{arxiv.2507.09076,
title = {Dynamic Parameter Memory: Temporary LoRA-Enhanced LLM for Long-Sequence Emotion Recognition in Conversation},
author = {Jialong Mai and Xiaofen Xing and Yawei Li and Weidong Chen and Zhipeng Li and Jingyuan Xing and Xiangmin Xu},
journal= {arXiv preprint arXiv:2507.09076},
year = {2025}
}
备注
submitted to ICLR 2026