面对面场景中的情绪建模：眼动追踪、人格特质与时间动态的交互

准确的情绪识别对于精细且引人入胜的人机交互至关重要，但在动态、对话式场景中仍难以实现。在本研究中，我们展示了如何通过整合眼动追踪数据、时间动态和人格特质来显著提升对感知情绪和体验情绪的检测。73名参与者观看了来自CREMA-D数据集的短语音视频，同时被记录眼动信号（瞳孔大小、注视模式）、大五人格评估和自我报告的情绪状态。我们的神经网络模型结合了这些多样化输入，包括刺激情绪标签作为上下文线索，与最先进方法相比取得了显著的性能提升。具体而言，感知效价预测达到了宏F1分数0.76，融入人格特质和刺激信息的模型在体验情绪准确性方面表现出显著提升。这些结果强调了统一生理、个体和情境因素以应对情绪表达的主观性和复杂性的好处。除了验证用户特定数据在捕捉细微内部状态中的作用外，我们的发现为未来情感计算和人机系统的设计提供了信息指导，为现实世界交互中更具适应性和跨个体情绪智能铺平了道路。