VEATIC：基于视频的情境情绪与情感追踪数据集
计算机视觉与模式识别
2023-09-18 v3 人机交互
多媒体
摘要
人类情感识别在心理物理学与计算机视觉中均为重要课题。然而，目前已发布的数据集存在诸多局限。例如，多数数据集仅包含带有面部表情信息的帧。受限于以往数据集，无论理解人类情感识别机制，还是使基于这些数据集训练的计算机视觉模型在常见情形下良好泛化，都十分困难。本工作中，我们引入一个全新的大型数据集——基于视频的情境情绪与情感追踪数据集(VEATIC)，可克服以往数据集的局限。VEATIC 包含 124 段来自好莱坞电影、纪录片与家庭视频的片段，并通过实时标注给出每帧连续的效价与唤醒度评分。除数据集外，我们提出一项新的计算机视觉任务，即利用每帧中的情境与角色信息推断所选角色的情感。此外，我们提出一个简单模型作为该新计算机视觉任务的基准。我们还将使用本数据集的预训练模型与其他类似数据集进行比较。实验显示了我们经 VEATIC 预训练模型的竞争性结果，表明 VEATIC 的泛化能力。我们的数据集可在 https://veatic.github.io 获取。
引用
@article{arxiv.2309.06745,
title = {VEATIC: Video-based Emotion and Affect Tracking in Context Dataset},
author = {Zhihang Ren and Jefferson Ortega and Yifan Wang and Zhimin Chen and Yunhui Guo and Stella X. Yu and David Whitney},
journal= {arXiv preprint arXiv:2309.06745},
year = {2023}
}