AffectGPT: 多模态情感识别的可解释数据集与框架
人机交互
2024-07-11 v1
摘要
可解释多模态情感识别（EMER）是旨在实现可靠且准确情感识别的新兴任务。然而，由于高标注成本，现有数据集（称为EMER-Fine）较小，使得进行监督训练困难。为减少标注成本并扩大数据集规模，本文审查了以往数据集构建过程。然后，我们简化了标注流程，避免手动检查，并用开源模型替换闭源模型。最后，我们构建了一个包含大规模样本的粗标注数据集，即EMER-Coarse。除了数据集，我们提出了一个两阶段训练框架AffectGPT。第一阶段利用EMER-Coarse学习多模态输入与情感相关描述之间的粗糙映射；第二阶段使用EMER-Fine以更好地对齐手动检查结果。实验结果表明，我们提出的方法在具有挑战性的EMER任务上有效。为促进进一步研究，我们将在https://github.com/zeroQiaoba/AffectGPT上提供代码和数据集。
引用
@article{arxiv.2407.07653,
title = {AffectGPT: Dataset and Framework for Explainable Multimodal Emotion Recognition},
author = {Zheng Lian and Haiyang Sun and Licai Sun and Jiangyan Yi and Bin Liu and Jianhua Tao},
journal= {arXiv preprint arXiv:2407.07653},
year = {2024}
}