基于适配器融合与Householder变换的参数高效构音障碍语音识别
音频与语音处理
2023-06-13 v1 声音
定量方法
摘要
在构音障碍语音识别中，数据稀缺以及构音障碍说话人之间的巨大差异带来了显著挑战。虽然微调是一种流行的解决方案，但它可能导致过拟合且参数效率低下。适配器模块以其体积小、易应用提供了更好的方案。此外，适配器融合能够促进从多个已学习适配器中的知识迁移，但可能使用更多参数。在本工作中，我们应用适配器融合进行目标说话人自适应与语音识别，以显著少于经典微调方法的说话人特定可训练参数取得了可接受的准确率。我们进一步通过缩减查询层和键层规模并使用Householder变换对值线性层进行重参数化，提升了融合层的参数效率。我们提出的融合层仅用原方法三分之一的参数即取得了与原始方法相当的识别结果。
引用
@article{arxiv.2306.07090,
title = {Parameter-efficient Dysarthric Speech Recognition Using Adapter Fusion and Householder Transformation},
author = {Jinzi Qi and Hugo Van hamme},
journal= {arXiv preprint arXiv:2306.07090},
year = {2023}
}
备注
Accepted by Interspeech 2023