结合文本信息且支持灵活说话人数量的说话人嵌入感知神经日记
声音
2021-11-30 v1 机器学习
音频与语音处理
摘要
重叠语音日记通常被视为一个多标签分类问题。在本文中，我们通过使用幂集对多说话人标签进行编码，将此任务重新表述为单标签预测问题。具体而言，我们提出了说话人嵌入感知神经日记（SEND）方法，该方法根据语音特征与给定说话人嵌入之间的相似性来预测幂集编码标签。通过利用文本信息，我们的方法得到了进一步扩展并与下游任务集成，这在以往的文献中尚未得到充分研究。实验结果表明，与目标说话人语音活动检测相比，我们的方法实现了更低的日记错误率。当涉及文本信息时，日记错误可以进一步降低。对于真实会议场景，与基于贝叶斯隐马尔可夫模型的聚类算法相比，我们的方法可以实现 34.11% 的相对改进。
引用
@article{arxiv.2111.13694,
title = {Speaker Embedding-aware Neural Diarization for Flexible Number of Speakers with Textual Information},
author = {Zhihao Du and Shiliang Zhang and Siqi Zheng and Weilong Huang and Ming Lei},
journal= {arXiv preprint arXiv:2111.13694},
year = {2021}
}
备注
Submitted to ICASSP 2022, 5 pages, 2 figures