中文

显著性引导的情感建模:从视频刺激预测观众反应

计算机视觉与模式识别 2025-05-27 v1 人工智能 机器学习

摘要

理解视频的情感影响对于内容创作、广告和人机交互(HCI)中的应用至关重要。传统的情感计算方法依赖于自我报告的情感、面部表情分析和生物传感数据,但它们往往忽视了视觉显著性的作用——即视频中自然吸引注意力的区域。在本研究中,我们利用深度学习引入了一种新颖的基于显著性的情感预测方法,通过提取两个关键特征:显著性区域和显著区域数量。使用 HD2S 显著性模型和 OpenFace 面部动作单元分析,我们考察了视频显著性与观众情感之间的关系。我们的发现揭示了三个关键见解:(1)具有多个显著区域的视频倾向于唤起高效价、低唤醒度的情感;(2)具有单一主导显著区域的视频更可能引起低效价、高唤醒度的反应;且(3)自我报告的情感通常与基于面部表情的情感检测不一致,表明主观报告存在局限性。通过利用显著性驱动的见解,这项工作为情感建模提供了一种计算高效且可解释的替代方案,对内容创作、个性化媒体体验和情感计算研究具有启示意义。

关键词

引用

@article{arxiv.2505.19178,
  title  = {Saliency-guided Emotion Modeling: Predicting Viewer Reactions from Video Stimuli},
  author = {Akhila Yaragoppa and Siddharth},
  journal= {arXiv preprint arXiv:2505.19178},
  year   = {2025}
}

备注

Accepted for publication at IBPRIA 2025 Conference in Coimbra, Portugal