基于记忆引导的原型共现学习用于混合情感识别
机器学习
2026-02-25 v1 声音
音频与语音处理
摘要
从多模态生理和行为信号进行情感识别是情感计算中的关键任务，但大多数现有模型仍受限于受控实验室环境中单一情感的预测。实际的人类情感体验往往由同时存在的多个情感状态所构成，这促使近期关注将混合情感识别视为情感分布学习问题。当前方法往往忽视共存情感中固有的价值一致性和结构化相关性。为此，我们提出了记忆引导的原型共现学习（MPCL）框架，显式建模情感共现模式。具体而言，我们首先通过多尺度关联记忆机制融合多模态信号。为捕捉跨模态语义关系，我们构建情感特定的原型记忆库，获得丰富的生理和行为表征，并利用原型关系蒸馏确保跨模态在潜在原型空间中的对齐。此外，灵感来自人类认知记忆系统，我们引入记忆检索策略，从情感类别中提取语义级别的共现关联。通过这一自下而上的层次化抽象过程，我们的模型学习了具备情感信息的表征，用于准确的情感分布预测。对两个公开数据集进行的全面实验表明，MPCL在混合情感识别中在定量和定性方面均 consistently 优于最新方法。
引用
@article{arxiv.2602.20530,
title = {Memory-guided Prototypical Co-occurrence Learning for Mixed Emotion Recognition},
author = {Ming Li and Yong-Jin Liu and Fang Liu and Huankun Sheng and Yeying Fan and Yixiang Wei and Minnan Luo and Weizhan Zhang and Wenping Wang},
journal= {arXiv preprint arXiv:2602.20530},
year = {2026}
}