面向高效语音表示的语义增强
计算与语言
2024-06-19 v1 声音
音频与语音处理
摘要
过去几年中,自监督学习的语音表示在解决口语语言理解(SLU)任务时,已成为传统表层表示的有益替代。同时,在大规模文本数据上训练的多语言模型被引入以编码语言无关的语义。近期,SAMU-XLSR方法提出了一种利用此类文本模型以语言无关语义丰富多语言语音表示的途径。为了在一项具挑战性的口语语言理解任务上实现更好的语义提取,并兼顾计算成本,本研究通过对少量来自下游任务的转写数据进行专门化,探究SAMU-XLSR模型的特定域内语义增强。此外,我们展示了使用同域法语和意大利语基准对低资源语言可迁移性的益处,并探索了增强后SAMU-XLSR的跨域能力。
引用
@article{arxiv.2307.01323,
title = {Semantic enrichment towards efficient speech representations},
author = {Gaëlle Laperrière and Ha Nguyen and Sahar Ghannay and Bassam Jabaian and Yannick Estève},
journal= {arXiv preprint arXiv:2307.01323},
year = {2024}
}
备注
INTERSPEECH 2023