利用吸引子深度聚类的端到端说话人日志

由于需要结构化的说话人表征、高效的建模以及对不同条件的鲁棒性，说话人日志仍然具有挑战性。我们提出了一种高性能、紧凑的日志框架，该框架集成了 conformer 解码器、transformer 更新的吸引子以及深度聚类风格的角度损失。我们的方法通过增强的 conformer 结构细化说话人表征，该结构引入了对吸引子的交叉注意力以及一个额外的卷积模块。为了强制结构化嵌入，我们通过构建标签-吸引子向量扩展了深度聚类，使其方向结构与音频嵌入对齐。我们还对活跃吸引子施加正交性约束以实现更好的说话人分离，同时抑制非活跃吸引子以防止错误激活。最后，置换不变训练二元交叉熵损失细化了说话人检测。实验表明，我们的方法在保持参数量的同时实现了较低的日志错误率。