DiaPer:基于 Perceiver 吸引子的端到端神经说话人日志化
音频与语音处理
2024-06-04 v3 声音
摘要
直到最近,说话人日志化领域仍以级联系统为主导。由于其局限性,主要体现在重叠语音处理以及繁琐的流程上,端到端模型近来获得了极大的关注。其中最成功的模型之一是基于编码器-解码器吸引子的端到端神经日志化(EEND-EDA)。在本文中,我们用基于 Perceiver 的模块替换了 EDA 模块,并展示了其相对于 EEND-EDA 的优势:即在广泛研究的 Callhome 数据集上获得更好的性能、更准确地估计对话中的说话人数量,以及更快的推理速度。此外,在与其他方法进行详尽比较时,我们的模型 DiaPer 以非常轻量化的设计达到了显著的性能。此外,我们在十多个公开宽带数据集上与其他工作以及一个级联基线进行了比较。伴随着本文的发表,我们发布了 DiaPer 的代码以及在公开免费数据上训练的模型。
引用
@article{arxiv.2312.04324,
title = {DiaPer: End-to-End Neural Diarization with Perceiver-Based Attractors},
author = {Federico Landini and Mireia Diez and Themos Stafylakis and Lukáš Burget},
journal= {arXiv preprint arXiv:2312.04324},
year = {2024}
}
备注
Accepted by IEEE/ACM Transactions on Audio, Speech, and Language Processing