基于预训练模型的非语义语音任务主动学习
声音
2024-02-19 v4 音频与语音处理
摘要
利用大规模无标注数据集预训练神经网络已变得流行，因为它为深度模型提供了更好的先验以解决下游任务。然而，该方法通常假设下游任务能够获得足够规模的标注数据。在这项工作中，我们提出 ALOE，一种利用主动学习提升非语义语音任务数据与标签效率的新系统。ALOE 将预训练模型与主动学习结合，逐步标注数据并学习下游任务的分类器，从而缓解事先获取标注数据的需求。我们在广泛的任务、基于不确定性的采集函数以及模型架构上展示了 ALOE 的有效性。在冻结编码器之上使用 ALOE 训练线性分类器，被证明能取得与若干使用全部标注数据的基线相当的性能。
引用
@article{arxiv.2211.00119,
title = {Active Learning of Non-semantic Speech Tasks with Pretrained Models},
author = {Harlin Lee and Aaqib Saeed and Andrea L. Bertozzi},
journal= {arXiv preprint arXiv:2211.00119},
year = {2024}
}
备注
Accepted at: ICASSP'23, Code: https://github.com/HarlinLee/ALOE