MATE：用于开放词汇关键词识别的套娃式音文嵌入
音频与语音处理
2026-01-21 v1 人工智能
摘要
基于文本注册的开放词汇关键词识别（KWS）已成为固定短语触发词的灵活替代方案。从嵌入学习的角度来看，先前的语句级匹配方法在单一固定维度上学习嵌入。我们偏离了这种设计，提出了套娃式音文嵌入（MATE），这是一种双编码器框架，通过嵌套的子嵌入（“前缀”）在单个向量中编码多个嵌入粒度。具体来说，我们引入了一种 PCA 引导的前缀对齐：将每个前缀尺寸对应的全文本嵌入的 PCA 压缩版本作为教师目标，用于对齐音频和文本前缀。这种对齐将显著的关键词线索集中在低维前缀中，而更高维度则增加细节。MATE 使用标准的深度度量学习目标进行音频-文本 KWS 训练，并且与损失函数无关。据我们所知，这是套娃式嵌入首次应用于 KWS，在 WSJ 和 LibriPhrase 数据集上取得了最先进的结果，且没有任何推理开销。
引用
@article{arxiv.2601.14012,
title = {MATE: Matryoshka Audio-Text Embeddings for Open-Vocabulary Keyword Spotting},
author = {Youngmoon Jung and Myunghun Jung and Joon-Young Yang and Yong-Hyeok Lee and Jaeyoung Roh and Hoon-Young Cho},
journal= {arXiv preprint arXiv:2601.14012},
year = {2026}
}
备注
5 pages, 1 figure, Accepted at ICASSP 2026