MMoE：利用多模态信息和域感知混合专家模型进行鲁棒剧透检测
人工智能
2025-09-08 v3
摘要
在线电影评论网站对于电影的信息和讨论具有宝贵价值。然而，大量的剧透评论破坏了观影体验，使得剧透检测成为一项重要任务。先前的方法仅关注评论的文本内容，忽略了平台中信息的异质性。例如，评论的元数据和相应用户的信息可能有所帮助。此外，电影评论的剧透语言往往具有类型特异性，从而对现有方法提出了域泛化挑战。为此，我们提出了 MMoE，这是一种利用多模态信息促进鲁棒剧透检测的多模态网络，并采用混合专家模型 (Mixture-of-Experts) 来增强域泛化能力。MMoE 首先分别从用户 - 电影网络、评论文本内容和评论元数据中提取图特征、文本特征和元数据特征。为了处理特定类型的剧透，我们随后采用混合专家模型架构来处理三种模态的信息以提升鲁棒性。最后，我们使用专家融合层整合来自不同视角的特征，并基于融合嵌入进行预测。实验表明，MMoE 在两个广泛使用的剧透检测数据集上达到了最先进的性能，在准确率和 F1 分数上分别比之前的 SOTA 方法高出 2.56% 和 8.41%。进一步的实验也证明了 MMoE 在鲁棒性和泛化能力方面的优越性。我们的代码可在 https://github.com/zzqbjt/Spoiler-Detection 获取。
引用
@article{arxiv.2403.05265,
title = {MMoE: Robust Spoiler Detection with Multi-modal Information and Domain-aware Mixture-of-Experts},
author = {Zinan Zeng and Sen Ye and Zijian Cai and Heng Wang and Yuhan Liu and Haokai Zhang and Minnan Luo},
journal= {arXiv preprint arXiv:2403.05265},
year = {2025}
}