软提示是语音识别的良好零样本学习器吗？
声音
2023-09-19 v1 音频与语音处理
摘要
大型自监督预训练语音模型需要计算代价高昂的微调以适应下游任务。软提示微调通过利用极少的软提示引导提供了一种简单的参数高效替代方案，在增强可移植性的同时保持了有竞争力的性能。然而，对此机理和理解者甚少。在本研究中，我们旨在通过探究软提示在自动语音识别（ASR）中的作用来加深对这一新兴方法的理解。我们的发现强调了它们作为零样本学习器在提升 ASR 性能方面的作用，但也使其易受恶意修改。软提示有助于泛化，但对于推理并非必需。我们还识别出软提示的两个主要作用：内容精炼与噪声信息增强，后者增强了对背景噪声的鲁棒性。此外，我们提出一种针对噪声提示的有效修改，表明它们能够在适应分布外噪声环境时进行零样本学习。
引用
@article{arxiv.2309.09413,
title = {Are Soft Prompts Good Zero-shot Learners for Speech Recognition?},
author = {Dianwen Ng and Chong Zhang and Ruixi Zhang and Yukun Ma and Fabian Ritter-Gutierrez and Trung Hieu Nguyen and Chongjia Ni and Shengkui Zhao and Eng Siong Chng and Bin Ma},
journal= {arXiv preprint arXiv:2309.09413},
year = {2023}
}