面向 STOP 低资源挑战的基于 MLM 数据增强的 ASR 与 NLU 流水线系统
计算与语言
2023-05-12 v2 声音
音频与语音处理
摘要
本文描述了我们用于口语理解大挑战（ICASSP 信号处理大挑战 2023 的一部分）低资源领域自适应赛道（赛道 3）的系统。在该赛道中，我们采用 ASR 与 NLU 的流水线方法。对于 ASR，我们使用上采样对每个领域微调 Whisper。对于 NLU，我们在全部赛道 3 数据上微调 BART，然后在低资源领域数据上微调。我们应用基于掩码语言模型（MLM）的数据增强，其中部分输入词元与相应目标标签使用 MLM 替换。我们还应用一种基于检索的方法，其中模型输入用相似训练样本增强。结果，我们在提醒/天气领域取得了精确匹配（EM）准确率 63.3/75.0（平均：69.15），并在该挑战中获得第一名。
引用
@article{arxiv.2305.01194,
title = {The Pipeline System of ASR and NLU with MLM-based Data Augmentation toward STOP Low-resource Challenge},
author = {Hayato Futami and Jessica Huynh and Siddhant Arora and Shih-Lun Wu and Yosuke Kashiwagi and Yifan Peng and Brian Yan and Emiru Tsunoo and Shinji Watanabe},
journal= {arXiv preprint arXiv:2305.01194},
year = {2023}
}
备注
To appear at ICASSP2023