关于自监督学习与元学习在用户自定义少样本关键词 spotting 中融合效率的研究

用户自定义关键词 spotting 是一项检测用户定义的新的语音词项的任务。这可视为少样本学习问题，因为要求用户通过提供大量示例来定义其所需关键词是不合理的。为解决此问题，先前工作尝试引入自监督学习模型或应用元学习算法。但尚不清楚自监督学习与元学习是否互补，以及这两类方法中何种组合对少样本关键词发现最为有效。本工作中，我们通过使用多种自监督学习模型并将其与各类元学习算法结合，系统性地研究了这些问题。我们的结果表明，HuBERT与Matching network结合取得最佳结果，并对少样本示例的变化具有鲁棒性。