用于音素与词语无监督分割及分类的对比预测策略
机器学习
2024-09-13 v2 声音
音频与语音处理
摘要
我们研究了几种基于对比预测编码(CPC)的自监督学习(SSL)方法在音素分类以及音素和词语分割上的表现。我们的实验表明,使用现有算法时,分类性能与分割性能之间存在权衡。我们探究了这一冲突的来源,并得出结论:上下文构建网络的使用虽对分类任务上的优越性能必不可少,却因导致所学表示发生时间偏移而损害了分割性能。为弥合这一差距,我们从领先的分割方法中获得启发,该方法同时在帧级和音素级对语音信号建模,并将多级建模引入对齐 CPC(ACPC)——一种在分类任务上表现最佳的 CPC 变体。我们的多级 ACPC(mACPC)在所有分类指标上均有提升,并在词语分割上达到了最先进(state-of-the-art)性能。
引用
@article{arxiv.2110.15909,
title = {Contrastive prediction strategies for unsupervised segmentation and categorization of phonemes and words},
author = {Santiago Cuervo and Maciej Grabias and Jan Chorowski and Grzegorz Ciesielski and Adrian Łańcucki and Paweł Rychlikowski and Ricard Marxer},
journal= {arXiv preprint arXiv:2110.15909},
year = {2024}
}