说话人日志方法的实验综述及其在双说话人电话会话语音中的应用
音频与语音处理
2023-05-30 v1 声音
信号处理
摘要
我们对当前面向电话会话语音（CTS）领域的日志系统进行了实验综述。具体而言，我们考量了共计八种分属基于聚类、端到端神经日志（EEND）和语音分离引导日志（SSGD）范式的不同算法。我们研究了在四个具有不同特征与语言的 CTS 数据集上的推理时间计算需求与日志准确率。我们发现，在所有考量方法中，EEND-向量聚类（EEND-VC）在计算需求与性能方面提供了最佳权衡。更一般地，EEND 模型相比基于聚类的方法在推理上更轻量、更快速。但它们也需要大量面向日志的标注数据。特别是 EEND-VC 的性能在我们的实验中随数据集规模减小而下降，而自注意力 EEND（SA-EEND）受影响较小。我们还发现，相比 EEND-VC，SA-EEND 在所有数据集上给出的一致性更差，其在具有高语音稀疏性的长对话上性能退化。基于聚类的日志系统，尤其是 VBx，相比 SA-EEND 具有更一致的性能，但被 EEND-VC 超越。当考虑重叠感知聚类方法时，其与后者的差距缩小。SSGD 是计算需求最高的方法，但若需进行语音识别则可能便利。其性能接近 SA-EEND，但在训练与推理数据特征匹配度较低时显著退化。
引用
@article{arxiv.2305.18074,
title = {An Experimental Review of Speaker Diarization methods with application to Two-Speaker Conversational Telephone Speech recordings},
author = {Luca Serafini and Samuele Cornell and Giovanni Morrone and Enrico Zovato and Alessio Brutti and Stefano Squartini},
journal= {arXiv preprint arXiv:2305.18074},
year = {2023}
}
备注
52 pages, 10 figures