BigVideo：用于多模态机器翻译的大规模视频字幕翻译数据集
计算机视觉与模式识别
2023-07-04 v3 人工智能
摘要
我们提出一个大规模视频字幕翻译数据集 BigVideo，以促进多模态机器翻译研究。与广泛使用的 How2 和 VaTeX 数据集相比，BigVideo 规模超过其 10 倍，包含 450 万句对与 9981 小时视频。我们还引入两个精心设计的测试集以验证视觉信息的必要性：含歧义词的 Ambiguous 集，以及文本上下文自包含可翻译的 Unambiguous 集。为更好地建模文本与视频间共享的语义，我们在跨模态编码器中引入对比学习方法。在 BigVideo 上的大量实验表明：a) 在 Ambiguous 与 Unambiguous 测试集上，视觉信息在 BLEU、BLEURT 与 COMET 指标上持续改善 NMT 模型。b) 相较于强文本基线，视觉信息有助于消歧，这体现在面向术语的评分与人类评估中。数据集与我们的实现见 https://github.com/DeepLearnXMU/BigVideo-VMT。
引用
@article{arxiv.2305.18326,
title = {BigVideo: A Large-scale Video Subtitle Translation Dataset for Multimodal Machine Translation},
author = {Liyan Kang and Luyang Huang and Ningxin Peng and Peihao Zhu and Zewei Sun and Shanbo Cheng and Mingxuan Wang and Degen Huang and Jinsong Su},
journal= {arXiv preprint arXiv:2305.18326},
year = {2023}
}
备注
Accepted to ACL 2023 Findings