Wav2Gloss：从语音生成行间标注文本
计算与语言
2024-06-07 v2
摘要
世界上数千种语言正面临灭绝的威胁——这对文化认同和人类语言多样性构成了巨大威胁。行间标注文本 (IGT) 是一种语言标注形式，可以为这些语言的社区提供文档记录和资源创建支持。IGT 通常包含：(1) 转写，(2) 形态切分，(3) 标注，以及 (4) 译为一种主流语言的自由翻译。我们提出了 Wav2Gloss：一项从语音中自动提取这四个标注组件的任务，并为此引入了首个数据集 Fieldwork：一个包含所有这些标注的语音语料库，源自田野语言学家的研究工作，涵盖 37 种语言，具有标准格式以及训练/开发/测试集划分。我们提供了各种基线模型，为未来从语音生成 IGT 的研究奠定基础，例如端到端与级联、单语与多语、以及单任务与多任务方法。
引用
@article{arxiv.2403.13169,
title = {Wav2Gloss: Generating Interlinear Glossed Text from Speech},
author = {Taiqi He and Kwanghee Choi and Lindia Tjuatja and Nathaniel R. Robinson and Jiatong Shi and Shinji Watanabe and Graham Neubig and David R. Mortensen and Lori Levin},
journal= {arXiv preprint arXiv:2403.13169},
year = {2024}
}
备注
ACL 2024 camera ready version