用于图像情感预测的多分支网络
计算机视觉与模式识别
2023-12-13 v1
摘要
长期以来，图像已被证明在存储和传达丰富语义（尤其是人类情感）方面表现出色。为了赋予机器识别人物照片中情感的能力，人们进行了大量研究。先前的方法大多关注面部表情，却未能考虑场景上下文，而场景上下文在预测情感中起着重要作用，能带来更准确的结果。此外，效价-唤醒度-支配度（VAD）值对连续情感提供了更精确的定量理解，但与离散情感类别相比，对预测它们的重视较少。在本文中，我们提出了一种新颖的多分支网络（MBN），它利用包括人脸、身体和场景上下文在内的各种源信息来预测图像中的离散和连续情感。在 EMOTIC 数据集上的实验结果表明，我们提出的方法在 mAP 上显著优于 SOTA 方法 28.4%，在 MAE 上达到 0.93，该数据集包含在非约束环境下的大规模人物图像，并标有 26 个离散情感类别和 VAD 值。结果突出了在情感预测中利用多种上下文信息的重要性，并说明了我们提出的方法在广泛应用中的潜力，例如情感计算、人机交互和社会机器人。源代码：https://github.com/BaoNinh2808/Multi-Branch-Network-for-Imagery-Emotion-Prediction
引用
@article{arxiv.2312.07500,
title = {Multi-Branch Network for Imagery Emotion Prediction},
author = {Quoc-Bao Ninh and Hai-Chan Nguyen and Triet Huynh and Trung-Nghia Le},
journal= {arXiv preprint arXiv:2312.07500},
year = {2023}
}
备注
SOICT 2023