通过通道间相关性从自监督语音模型中提取说话人与情感信息
音频与语音处理
2022-10-19 v1 声音
摘要
从大量无标签数据中自监督学习语音表示已在若干语音处理任务中取得最先进结果。跨时间聚合这些语音表示通常采用描述性统计，特别是使用表示系数的二阶与一阶统计量。在本文中，我们考察了一种从自监督训练模型中提取说话人与情感信息的替代方法，该方法基于表示系数之间的相关性——相关池化（correlation pooling）。我们展示了相较均值池化的改进，以及当通过融合组合池化方法时的进一步提升。代码可见于 github.com/Lamomal/s3prl_correlation。
引用
@article{arxiv.2210.09513,
title = {Extracting speaker and emotion information from self-supervised speech models via channel-wise correlations},
author = {Themos Stafylakis and Ladislav Mosner and Sofoklis Kakouros and Oldrich Plchot and Lukas Burget and Jan Cernocky},
journal= {arXiv preprint arXiv:2210.09513},
year = {2022}
}
备注
Accepted at IEEE-SLT 2022