通过为注意力头分配辅助损失改进基于 Transformer 的端到端说话人日志
音频与语音处理
2023-03-03 v1 声音
摘要
基于 Transformer 的端到端神经说话人日志（EEND）模型利用多头自注意力（SA）机制，在重叠语音区域实现准确的说话人标签预测。在本研究中，为提升 SA-EEND 模型的训练有效性，我们提出对 Transformer 层的 SA 头使用辅助损失。具体而言，我们假设若 SA 层的注意力权重矩阵模式与单位矩阵相似，则其是冗余的。我们随后显式约束此类矩阵，使其展现出与语音活动检测或重叠语音检测任务相关的特定说话人活动模式。因此，我们期望所提辅助损失引导 Transformer 层在注意力权重中展现出更多样化的模式，从而减少 SA 头中假设的冗余。所提方法的有效性在模拟与 CALLHOME 数据集上针对双说话人日志任务得到验证，将常规 SA-EEND 模型的日志错误率分别降低了 32.58% 与 17.11%。
引用
@article{arxiv.2303.01192,
title = {Improving Transformer-based End-to-End Speaker Diarization by Assigning Auxiliary Losses to Attention Heads},
author = {Ye-Rin Jeoung and Joon-Young Yang and Jeong-Hwan Choi and Joon-Hyuk Chang},
journal= {arXiv preprint arXiv:2303.01192},
year = {2023}
}
备注
5 pages, ICASSP2023 (Accepted)