视听中的讽刺：基准测试与扩展以改进多模态讽刺检测
计算与语言
2023-10-04 v1 人工智能
摘要
MUStARD 数据集及其情感识别扩展 MUStARD++ 的提出，已确认讽刺是一种多模态现象——不仅通过自然语言文本表达，也通过言语方式（如音调和语调）与视觉线索（面部表情）表达。在本工作中，我们旨在通过采用最先进的语言、语音与视觉编码器，对 MUStARD++ 数据集进行严格基准测试，以充分利用其提供的多模态丰富性，在宏 F1 上较现有基准提升 2%。此外，为纠正 MUStARD++ 中“讽刺类型”类别的不平衡，我们提出一项扩展，称之为 MUStARD++ Balanced，并将扩展中的实例分布于训练集与测试集进行相同基准测试，进一步获得 2.4% 的宏 F1 提升。新片段取自一新来源——电视剧《豪斯医生》，增加了数据集的多样性，并由多名标注者手动标注，在 Cohen's kappa 与 Krippendorf's alpha 上具备显著的标注者间一致性。我们的代码、扩展数据与 SOTA 基准模型均已公开。
引用
@article{arxiv.2310.01430,
title = {Sarcasm in Sight and Sound: Benchmarking and Expansion to Improve Multimodal Sarcasm Detection},
author = {Swapnil Bhosale and Abhra Chaudhuri and Alex Lee Robert Williams and Divyank Tiwari and Anjan Dutta and Xiatian Zhu and Pushpak Bhattacharyya and Diptesh Kanojia},
journal= {arXiv preprint arXiv:2310.01430},
year = {2023}
}