面向零样任务的关键词检测文本感知适配器

近期灵活的基于文本注册的关键词检测（Keyword Spotting, KWS）技术进步，允许用户在注册时无需实际说出关键词即可进行个性化配置。然而，针对目标关键词的检测性能仍有提升空间。本文提出一种新颖的零样迁移学习方法，称为文本感知适配器（text-aware adapter, TA-adapter），旨在增强针对特定关键词的预训练灵活KWS模型性能，仅需少量语音样本。为适配声学编码器，我们利用联合预训练的文本编码器生成用于表示关键词的文本嵌入。通过仅微调网络的少数部分参数而保持核心组件权重不变，TA-adapter在零样KWS任务中表现出极高的效率，能够无缝恢复到原始预训练模型。在实验中，TA-adapter在Google Speech Commands V2数据集中的35个不同关键词上均实现了显著的性能提升，仅增加了0.14%的总参数数量。