EmoSet：一个具有丰富属性标注的大规模视觉情感数据集
计算机视觉与模式识别
2023-07-31 v2
摘要
视觉情感分析（Visual Emotion Analysis, VEA）旨在预测人们对视觉刺激的情感反应。这是情感计算中的一个有前景但充满挑战的任务，近年来引起了越来越多的关注。该领域现有工作大多聚焦于特征设计，而很少关注数据集构建。在本工作中，我们提出 EmoSet，这是首个带有丰富属性标注的大规模视觉情感数据集，其在规模、标注丰富度、多样性和数据均衡性四个方面优于现有数据集。EmoSet 共包含 330 万张图像，其中 118,102 张由人工标注者精心标注，规模约为最大现有数据集的五倍。EmoSet 包含来自社交网络的图像以及艺术图像，且在不同情感类别间具有良好的均衡性。受心理学研究启发，除情感类别外，每张图像还标注了一组可描述的情感属性：亮度、色彩丰富度、场景类型、物体类别、面部表情和人体动作，这有助于以精确且可解释的方式理解视觉情感。通过分析这些属性与视觉情感之间的相关性，并设计属性模块辅助视觉情感识别，验证了这些情感属性的相关性。我们相信 EmoSet 将带来一些关键见解，并推动视觉情感分析与理解方面的进一步研究。项目页面：https://vcc.tech/EmoSet。
引用
@article{arxiv.2307.07961,
title = {EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes},
author = {Jingyuan Yang and Qirui Huang and Tingting Ding and Dani Lischinski and Daniel Cohen-Or and Hui Huang},
journal= {arXiv preprint arXiv:2307.07961},
year = {2023}
}
备注
Accepted to ICCV2023, similar to the final version