基于残差连接的Transformer辅助损失用于端到端说话人日志
音频与语音处理
2022-09-27 v3 声音
摘要
具有自注意力的端到端神经日志化(EEND)直接从输入预测说话人标签,并能够处理重叠语音。尽管EEND优于基于聚类的说话人日志(SD),但由于与较低层编码器块相比,最后一层编码器块受到主导性监督,简单地增加编码器块数量无法进一步改善性能。本文提出了一种新的用于Transformer的残差辅助EEND(RX-EEND)学习架构,以强制较低层编码器块更准确地学习。辅助损失应用于每个编码器块(包括最后一层编码器块)的输出。通过在EEND的编码器块之间添加残差连接,可以进一步增强辅助损失对编码器块学习的作用。性能评估与消融研究表明,与自注意力EEND(SA-EEND)相比,所提出的RX-EEND中的辅助损失在模拟数据集和CALLHOME(CH)数据集上分别使日志化错误率(DER)相对降低了50.3%和21.0%。此外,RX-EEND中使用的残差连接进一步使CH数据集的DER相对降低了8.1%。
引用
@article{arxiv.2110.07116,
title = {Auxiliary Loss of Transformer with Residual Connection for End-to-End Speaker Diarization},
author = {Yechan Yu and Dongkeon Park and Hong Kook Kim},
journal= {arXiv preprint arXiv:2110.07116},
year = {2022}
}
备注
Submitted to ICASSP 2022, equal contribution from first two authors