Game-MUG：多模态导向的游戏情境理解与评论生成数据集
计算与语言
2024-05-01 v1
摘要
电子竞技的动态性质使得平均观众难以相对复杂的情境进行理解。电子竞技直播涉及游戏专家解说，但解说依赖的游戏评论并不足以完全理解游戏情境。通过包括观众的讨论/情感、游戏音频以及游戏比赛事件信息等多样化的多模态电子竞技信息，将使情境理解更丰富。本文介绍了 GAME-MUG，这是一个新的多模态游戏情境理解和观众参与式评论生成数据集及其强大基线。我们的数据集来自 2020-2022 年从 YouTube 和 Twitch 上收集的 LOL 游戏直播，包括用于检测游戏情境的文本、音频和时间序列事件日志。此外，我们还提出了新的以覆盖游戏情境和观众对话理解为特色的观众对话增强式评论数据集，并提出一种强大的联合多模态双学习模型作为基线。我们检查了模型的游戏情境/事件理解能力和评论生成能力，以展示多模态覆盖和联合集成学习方法的有效性。
引用
@article{arxiv.2404.19175,
title = {Game-MUG: Multimodal Oriented Game Situation Understanding and Commentary Generation Dataset},
author = {Zhihao Zhang and Feiqi Cao and Yingbin Mo and Yiran Zhang and Josiah Poon and Caren Han},
journal= {arXiv preprint arXiv:2404.19175},
year = {2024}
}