基于注意力机制的编解码网络用于具有目标说话人吸引子的端到端神经说话人日志
声音
2023-08-16 v3 音频与语音处理
摘要
本文提出了一种新颖的基于注意力机制的编解码网络用于端到端神经说话人日志（AED-EEND）。在AED-EEND系统中，我们引入目标说话人语音活动检测（TS-VAD）中使用的目标说话人注册信息来计算吸引子，这可以缓解说话人排列问题并促进模型更易收敛。在训练过程中，我们提出一种教师强制策略，利用真实标签获取注册信息。此外，我们提出了三种启发式解码方法，在评估过程中识别每个说话人的注册区域。另外，我们通过引入基于注意力机制的模型，增强了端到端编解码器基于吸引子计算（EEND-EDA）系统中使用的吸引子计算网络LSTM。利用这种基于注意力的吸引子解码器，我们提出的AED-EEND系统仅使用0.5秒的注册数据便优于EEND-EDA和TS-VAD系统。
引用
@article{arxiv.2305.10704,
title = {Attention-based Encoder-Decoder Network for End-to-End Neural Speaker Diarization with Target Speaker Attractor},
author = {Zhengyang Chen and Bing Han and Shuai Wang and Yanmin Qian},
journal= {arXiv preprint arXiv:2305.10704},
year = {2023}
}
备注
Accepted by InterSpeech 2023