用于鲁棒高效端到端神经说话人日志的 Transformer 吸引子
声音
2023-12-12 v1 音频与语音处理
摘要
基于编码器-解码器吸引子的端到端神经说话人日志（EEND-EDA）是一种在单个神经网络中执行说话人日志的方法。EDA 通过使用基于 LSTM 的编码器-解码器以自回归方式生成一组说话人相关的吸引子，来处理灵活数量的说话人日志。在本文中，我们提出用基于 Transformer 的吸引子计算（TA）模块替换 EDA。TA 由一个组合器块和一个 Transformer 解码器组成。组合器块的主要功能是通过将学习到的对话信息整合到一组全局嵌入中，生成对话相关（CD）嵌入。这些 CD 嵌入随后将作为 Transformer 解码器的输入。在公开数据集上的结果表明，EEND-TA 相比 EEND-EDA 实现了 2.68% 的绝对 DER 改进。EEND-TA 的推理速度是 EEND-EDA 的 1.28 倍。
引用
@article{arxiv.2312.06253,
title = {Transformer Attractors for Robust and Efficient End-to-End Neural Diarization},
author = {Lahiru Samarakoon and Samuel J. Broughton and Marc Härkönen and Ivan Fung},
journal= {arXiv preprint arXiv:2312.06253},
year = {2023}
}
备注
8 pages, 1 figure, ASRU2023