Edu-EmotionNet：跨模态注意力对齐与时序反馈循环
机器学习
2025-10-13 v1
摘要
理解线上教育中学习者的情绪对于提高参与度和个性化教学至关重要。虽然情感识别领域的 prior work 已探索了多模态融合和时序建模，但现有方法往往依赖静态的融合策略，假设模态输入始终可靠，这在现实学习环境中几乎不成立。我们提出 Edu-EmotionNet，一种新颖框架，联合建模情绪演变和模态可靠性，以实现稳健的情感识别。该模型包含三个关键组件：用于动态跨模态上下文共享的跨模态注意力对齐 (CMAA) 模块、分配每个时步每个模态置信度权重的模态重要性估计器 (MIE)，以及利用先前预测结果以强制时序一致性的时序反馈循环 (TFL)。在教育子数据集 IEMOCAP 和 MOSEI 上进行评估，这些数据集因困惑、好奇、疲倦和沮丧而重新标注。实验结果表明，Edu-EmotionNet 在 state-of-the-art 水平上取得优异成绩，并在缺失或噪声模态情况下表现出强大的鲁棒性。可视化结果确认了其捕捉情绪转换并自适应优先可靠信号的能力，使其适用于部署于实时学习系统。
引用
@article{arxiv.2510.08802,
title = {Edu-EmotionNet: Cross-Modality Attention Alignment with Temporal Feedback Loops},
author = {S M Rafiuddin},
journal= {arXiv preprint arXiv:2510.08802},
year = {2025}
}
备注
6 Pages, 6 Figures, 3 Tables, Accepted as a Regular Research paper at ICMLA 2025