MiniSUPERB：自监督语音模型的轻量基准
音频与语音处理
2023-11-16 v3 计算与语言
机器学习
摘要
SUPERB 被提出用于评估自监督学习（SSL）语音模型在各种任务上的泛化能力。然而，由于数据集庞大且任务多样，它带来了高昂的计算成本。本文中，我们介绍 MiniSUPERB，一个轻量基准，能以与 SUPERB 相当但显著降低的计算成本高效评估 SSL 语音模型。我们精心挑选代表性任务、对数据集采样，并离线提取模型表示。我们的方法分别与 SUPERB Paper 和 SUPERB Challenge 达到了 0.954 和 0.982 的 Spearman 秩相关。此外，就乘加运算（MACs）而言，我们将计算成本降低了 97%。进一步，我们在少样本场景下评估 SSL 语音模型，观察到其性能存在显著变化。据我们所知，这是首项同时考察模型自身计算成本及其在基准上评估成本的研究。
引用
@article{arxiv.2305.19011,
title = {MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models},
author = {Yu-Hsiang Wang and Huang-Yu Chen and Kai-Wei Chang and Winston Hsu and Hung-yi Lee},
journal= {arXiv preprint arXiv:2305.19011},
year = {2023}
}
备注
Accepted to IEEE ASRU 2023