面向多模态情感识别的弱监督多任务学习
计算与语言
2021-04-26 v1 计算机视觉与模式识别
多媒体
摘要
多模态情感识别是增强人机交互中人际关系的重要方面。然而，相关数据难以获取且标注成本高昂，这构成了构建鲁棒多模态情感识别系统的重大障碍。在这些相对较小的数据集上训练的模型往往过拟合，且使用复杂最先进（state-of-the-art）模型相比简单基线带来的提升十分有限。同时，存在许多不同的多模态情感识别数据集，尽管每个数据集可能规模较小。在本文中，我们提出利用弱监督多任务学习来使用这些数据集，以提升各自上的泛化性能。具体而言，我们探索了三种多模态情感识别任务：1）情绪识别；2）情感分析；3）讽刺识别。实验结果表明，多任务学习可使所有这些任务受益，准确率最高提升 2.9%，F1 分数最高提升 3.3%。此外，我们的方法还有助于提升模型性能的稳定性。另外，我们的分析表明，若任务高度相关，弱监督可提供与强监督相当的贡献。
引用
@article{arxiv.2104.11560,
title = {Weakly-supervised Multi-task Learning for Multimodal Affect Recognition},
author = {Wenliang Dai and Samuel Cahyawijaya and Yejin Bang and Pascale Fung},
journal= {arXiv preprint arXiv:2104.11560},
year = {2021}
}
备注
13 pages, 2 figures