情绪作为改进情感推断的上下文线索

心理学研究观察到，情绪很少孤立地表达，通常受周围环境的影响。虽然最近的研究有效地利用单模态和多模态线索进行情绪推断，但几乎没有研究考虑长期情感（即“情绪”）对短期“情感”推断的影响。本研究（a）提出从视频中进行时间连续的效价预测，融合包括“情绪”和“情绪变化”（$\Delta$）标签在内的多模态线索，（b）串行集成空间和通道注意力以改进推断，以及（c）通过在EMMA和AffWild2数据集上的实验证明算法的可推广性。实证结果证实，利用情绪标签对于动态效价预测非常有益。比较单模态（仅使用情绪标签训练）与多模态（使用情绪和$\Delta$标签训练）的结果，后者的推断性能有所提高，表明长期和短期情境线索对于时间连续的情绪推断都至关重要。