MatchTime: 面向自动足球赛解说生成
计算机视觉与模式识别
2024-11-19 v2
摘要
足球是全球范围内流行的运动，拥有庞大的观众群体。本文考虑构建自动足球赛解说模型以提升观众的观看体验。总体而言，我们作出了以下贡献: 首先，观察到现有数据集中普遍存在视频-文本错位，我们手动为 49 场比赛标注时间戳，建立了一个更稳健的足球赛解说生成基准测试，称为 SN-Caption-test-align; 其次，我们提出一种多模态时间对齐管线，用于自动纠正和过滤大规模现有数据集，创建用于训练的更高质量足球赛解说数据集，称为 MatchTime; 第三，基于我们筛选好的数据集，我们训练了一个自动解说生成模型，命名为 MatchVoice。大量实验和消融研究表明，我们的对齐管线有效且在筛选好的数据集上训练的模型为解说生成实现了最先进的性能，展示了更好的对齐确实可以显著性地提高下游任务的性能。
引用
@article{arxiv.2406.18530,
title = {MatchTime: Towards Automatic Soccer Game Commentary Generation},
author = {Jiayuan Rao and Haoning Wu and Chang Liu and Yanfeng Wang and Weidi Xie},
journal= {arXiv preprint arXiv:2406.18530},
year = {2024}
}
备注
Accepted by EMNLP 2024 (Oral Presentation); Project Page: https://haoningwu3639.github.io/MatchTime/