用于幽默检测的混合多模态融合
机器学习
2022-09-27 v1 人工智能
计算与语言
多媒体
摘要
在本文中，我们给出了针对 2022 年多模态情感挑战赛（MuSe）的 MuSe-Humor 子挑战赛的解决方案。MuSe-Humor 子挑战赛的目标是从德国足球 Bundesliga 新闻发布会的音视频记录中检测幽默并计算 AUC。其标注为教练所展现的幽默。针对该子挑战赛，我们首先使用 transformer 模块和 BiLSTM 模块构建判别模型，然后提出一种混合融合策略，利用各模态的预测结果来提升模型性能。我们的实验证明了我们所提模型及混合融合策略在多模态融合上的有效性，且我们所提模型在测试集上的 AUC 为 0.8972。
引用
@article{arxiv.2209.11949,
title = {Hybrid Multimodal Fusion for Humor Detection},
author = {Haojie Xu and Weifeng Liu and Jingwei Liu and Mingzheng Li and Yu Feng and Yasi Peng and Yunwei Shi and Xiao Sun and Meng Wang},
journal= {arXiv preprint arXiv:2209.11949},
year = {2022}
}
备注
7 pages, 1 figure, to appear in MuSe 2022 (ACM MM2022 co-located workshop)