利用分组置换不变训练分离长形式语音
音频与语音处理
2021-11-18 v2 声音
摘要
多说话人会话语音处理因会议转录等多种应用而备受关注。语音分离常用于处理会话中常见的重叠语音。尽管基于原始 utterance-level 置换不变训练的连续语音分离方法已在多种条件下被证明有效，但它缺乏利用 utterance 长跨度关系的能力，且由于高度重叠的滑动窗口而计算低效。为克服这些缺陷，我们提出一种名为 Group-PIT 的新训练方案，其能以较低的标签分配计算代价直接在长形式语音上训练语音分离模型。我们探索了两种结合 Group-PIT 的语音分离方法，包括直接长跨度语音分离与带长跨度跟踪的短跨度语音分离。在仿真会议风格数据上的实验证明了所提方法的有效性，尤其是在处理极长语音输入时。
引用
@article{arxiv.2110.14142,
title = {Separating Long-Form Speech with Group-Wise Permutation Invariant Training},
author = {Wangyou Zhang and Zhuo Chen and Naoyuki Kanda and Shujie Liu and Jinyu Li and Sefik Emre Eskimez and Takuya Yoshioka and Xiong Xiao and Zhong Meng and Yanmin Qian and Furu Wei},
journal= {arXiv preprint arXiv:2110.14142},
year = {2021}
}
备注
5 pages, 3 figures, 3 tables, submitted to IEEE ICASSP 2022