Semantic VAD：面向语音交互的低延迟语音活动检测
音频与语音处理
2023-05-23 v1 声音
摘要
对于语音交互，语音活动检测 (VAD) 常作为前端使用。然而，传统 VAD 算法通常需等待连续尾部静音达到预设最大时长后才进行分割，导致较大延迟并影响用户体验。在本文中，我们提出了一种用于低延迟分割的新型语义 VAD。与现有方法不同，语义 VAD 增加了一个帧级标点预测任务，并且除常用的语音存在与不存在外，将人工端点也纳入分类类别。为增强模型的语义信息，我们还引入了自动语音识别 (ASR) 相关的语义损失。在内部数据集上的评估表明，与传统 VAD 方法相比，所提方法可在后端 ASR 字符错误率无显著恶化的前提下将平均延迟降低 53.3%。
引用
@article{arxiv.2305.12450,
title = {Semantic VAD: Low-Latency Voice Activity Detection for Speech Interaction},
author = {Mohan Shi and Yuchun Shu and Lingyun Zuo and Qian Chen and Shiliang Zhang and Jie Zhang and Li-Rong Dai},
journal= {arXiv preprint arXiv:2305.12450},
year = {2023}
}
备注
Accepted by Interspeech2023