Scifaro

中文

How2：用于多模态语言理解的大规模数据集

计算与语言 2018-12-10 v2

作者: Ramon Sanabria , Ozan Caglayan , Shruti Palaskar , Desmond Elliott , Loïc Barrault , Lucia Specia , Florian Metze

在 arXiv 上查看 ↗ PDF ↗

摘要

在本文中，我们介绍 How2，一个带有英文字幕和众包葡萄牙语翻译的教学视频多模态集合。我们还提出了用于机器翻译、自动语音识别、口语翻译和多模态摘要的集成序列到序列基线。通过提供若干多模态自然语言任务的数据和代码，我们希望促进对这些及类似挑战的更多研究，以深入理解语言处理中的多模态性。

关键词

多模态数据集教学视频机器翻译自动语音识别口语翻译多模态摘要语言理解

引用

@article{arxiv.1811.00347,
  title  = {How2: A Large-scale Dataset for Multimodal Language Understanding},
  author = {Ramon Sanabria and Ozan Caglayan and Shruti Palaskar and Desmond Elliott and Loïc Barrault and Lucia Specia and Florian Metze},
  journal= {arXiv preprint arXiv:1811.00347},
  year   = {2018}
}