面向流式开放词汇关键词检测的 CTC 对齐音频-文本嵌入
声音
2024-09-27 v1 人工智能
音频与语音处理
摘要
本文提出了一种 novel approach for streaming openvocabulary keyword spotting (KWS) with text-based keyword enrollment。对于每一个 input frame，提出的方法使用 connectionist temporal classification (CTC) 找到该 frame 结束处的最优对齐，并聚合 frame-level acoustic embedding (AE) 以获取更高层次 (即 character、word 或 phrase) 的 AE，这些嵌入与 target keyword text 的 text embedding (TE) 对齐。随后，我们计算聚合 AE 与 TE 的 similarity。 To the best of our knowledge，这是首次尝试在-the-fly 对 audio 与 keyword text 动态对齐，以实现 KWS 的 joint audio-text embedding。尽管以 streaming fashion 运行，我们的方法在 LibriPhrase 数据集上 achieves competitive performance，仅使用 155K model parameters，解码算法的 time complexity 为 O(U)，其中 U 为推理时目标 keyword 长度。
引用
@article{arxiv.2406.07923,
title = {CTC-aligned Audio-Text Embedding for Streaming Open-vocabulary Keyword Spotting},
author = {Sichen Jin and Youngmoon Jung and Seungjin Lee and Jaeyoung Roh and Changwoo Han and Hoonyoung Cho},
journal= {arXiv preprint arXiv:2406.07923},
year = {2024}
}