利用多任务学习识别电影诱发的情绪
计算机视觉与模式识别
2021-08-02 v1
摘要
理解电影的情感影响对于情感电影分析、排序与索引已变得十分重要。识别诱发情绪的方法通常在人工标注数据上训练。具体地，观众观看视频片段并须手动标注观看时所经历的情绪。随后，常见做法是通过计算平均分数或多数投票来聚合不同标注，并在这些聚合标注上训练和测试模型。通过此流程，每个视频获得单一聚合的诱发情绪标注。然而，观看视频时所经历的情绪是主观的：不同个体可能经历不同情绪。本文中以不同方式对视频诱发的情绪建模：我们不直接建模聚合值，而是使用多任务学习（multi-task learning）方法联合建模每位观众经历的情绪与聚合值。具体地，我们提出两种深度学习架构：单任务（ST）架构与多任务（MT）架构。结果表明，与直接在聚合标注上训练的方法相比，MT 方法能更准确地建模每位观众及聚合标注。此外，我们的方法在 COGNIMUSE 基准上优于当前最先进（SOTA）结果。
引用
@article{arxiv.2107.14529,
title = {Recognizing Emotions evoked by Movies using Multitask Learning},
author = {Hassan Hayat and Carles Ventura and Agata Lapedriza},
journal= {arXiv preprint arXiv:2107.14529},
year = {2021}
}
备注
Accepted to the International Conference on Affective Computing and Intelligent Interaction (ACII) 2021