利用学习到的弹幕特征增强多模态情感分析
计算与语言
2024-10-23 v1 人工智能
多媒体
摘要
弹幕是与视频内容同步的用户生成消息。这些评论直接叠加在流媒体视频上，实时捕捉观众的情绪和反应。虽然先前的工作已在情感分析中利用了弹幕，但由于弹幕在不同视频平台上的相对稀缺性，其使用受到限制。为解决此问题，我们首先构建了用于情感分析的弹幕（LCAffect）数据集，该数据集包含涵盖多种类型、能引发广泛情绪的英语和中文视频的弹幕。然后，利用此数据集，我们使用对比学习训练一个视频编码器，以生成合成弹幕特征，用于增强的多模态情感内容分析。通过在英语和中文的广泛情感分析任务（情感、情绪识别和讽刺检测）上进行全面实验，我们证明了这些合成弹幕特征显著优于最先进方法的性能。
引用
@article{arxiv.2410.16407,
title = {Enhancing Multimodal Affective Analysis with Learned Live Comment Features},
author = {Zhaoyuan Deng and Amith Ananthram and Kathleen McKeown},
journal= {arXiv preprint arXiv:2410.16407},
year = {2024}
}