一种用于情绪变化预测与改进心境推断的弱监督方法
人机交互
2023-08-21 v2 机器学习
多媒体
摘要
尽管情感计算研究大多聚焦于情绪推断，但对心境的考察或对其与情绪相互作用（mood-emotion interplay）的理解所受关注明显较少。在先前工作基础上，我们 (a) 推导并融入情绪变化（）信息以推断心境，而无需依赖标注标签；(b) 针对长时段视频片段尝试心境预测，以契合心境的特征定义。我们通过预训练孪生网络（Siamese Network）的度量学习生成情绪变化（）标签，并将其与心境标签一同用于心境分类。评估单模态（仅使用心境标签训练）与多模态（使用心境加 标签训练）模型的实验表明，心境预测因融入情绪变化信息而受益，凸显了建模心境—情绪相互作用对于有效心境推断的重要性。
引用
@article{arxiv.2306.06979,
title = {A Weakly Supervised Approach to Emotion-change Prediction and Improved Mood Inference},
author = {Soujanya Narayana and Ibrahim Radwan and Ravikiran Parameshwara and Iman Abbasnejad and Akshay Asthana and Ramanathan Subramanian and Roland Goecke},
journal= {arXiv preprint arXiv:2306.06979},
year = {2023}
}
备注
9 pages, 3 figures, 6 tables, published in IEEE International Conference on Affective Computing and Intelligent Interaction