FRILL：一种面向移动设备的非语义语音嵌入
声音
2022-12-20 v5 音频与语音处理
摘要
习得语音表征能够大幅提升标注数据有限任务的性能。然而，由于其规模与复杂度，习得表征在移动场景中的实用性有限，因为运行时的性能可能成为显著瓶颈。在本工作中，我们基于近期提出的 TRILL 语音嵌入，提出一类在移动设备上高效运行的轻量级非语义语音嵌入模型。我们结合新颖的架构修改与现有加速技术，构建出足以在移动设备上实时运行的嵌入模型，并在非语义语音任务基准上表现出极小的性能退化。其中一个模型（FRILL）在 Pixel 1 智能手机上比 TRILL 快 32 倍、尺寸为其 40%，准确率平均仅下降 2%。据我们所知，FRILL 是为移动设备使用而设计的质量最高的非语义嵌入。此外，我们证明这些表征对移动健康任务（如非语音人体声音检测与戴口罩语音检测）有用。我们的模型与代码已公开可用。
引用
@article{arxiv.2011.04609,
title = {FRILL: A Non-Semantic Speech Embedding for Mobile Devices},
author = {Jacob Peplinski and Joel Shor and Sachin Joglekar and Jake Garrison and Shwetak Patel},
journal= {arXiv preprint arXiv:2011.04609},
year = {2022}
}
备注
Accepted to Interspeech 2021