面向多方会议分析的说话人重叠感知神经日记化
声音
2022-11-21 v1 多媒体
音频与语音处理
摘要
近来，聚类与神经日记化模型的混合系统已成功应用于多方会议分析。然而，当前模型总是将重叠说话人日记化视为多标签分类问题，其中说话人依赖性与重叠未被充分考虑。为克服这些缺陷，我们通过所提出的幂集编码（PSE）将重叠说话人日记化任务重新表述为单标签预测问题。通过该表述，说话人依赖性与重叠可被显式建模。为充分利用此表述，我们进一步提出说话人重叠感知神经日记化（SOND）模型，其由建模全局说话人可分辨性的上下文无关（CI）打分器、建模局部可分辨性的上下文相关（CD）打分器，以及用于合并与重分配说话人活动的说话人组合网络（SCN）组成。实验结果表明，使用所提表述可优于基于目标说话人语音活动检测的现有最优方法，且借助 SOND 性能可进一步提升，取得 6.30% 的相对日记化错误率降低。
引用
@article{arxiv.2211.10243,
title = {Speaker Overlap-aware Neural Diarization for Multi-party Meeting Analysis},
author = {Zhihao Du and Shiliang Zhang and Siqi Zheng and Zhijie Yan},
journal= {arXiv preprint arXiv:2211.10243},
year = {2022}
}
备注
Accepted by EMNLP 2022