结合 Conformer CPC 与深度聚类的语音表征学习用于 ZeroSpeech 2021 挑战赛
声音
2022-02-17 v2 音频与语音处理
摘要
我们提出了一种用于 Zero Resource Speech Challenge 2021 的系统，其将对比预测编码（CPC）与深度聚类相结合。在深度聚类中，我们首先通过用 k-means 对 CPC 网络输出进行聚类获得伪标签。然后，我们训练一个额外的自回归模型以有监督方式对先前获得的伪标签进行分类。通过对自回归模型最后一层的输出执行第二轮聚类，实现了音素判别性表征。我们表明，将 Transformer 层替换为 Conformer 层可在词汇度量上带来进一步提升。实验结果表明，与在 LibriSpeech 460h 数据上训练的 CPC-small 基线方法相比，音素度量相对提升 35%，词汇度量相对提升 1.5%，句法度量相对提升 2.3%。我们在该挑战赛的句法度量上取得了最佳结果。
引用
@article{arxiv.2107.05899,
title = {Speech Representation Learning Combining Conformer CPC with Deep Cluster for the ZeroSpeech Challenge 2021},
author = {Takashi Maekaku and Xuankai Chang and Yuya Fujita and Li-Wei Chen and Shinji Watanabe and Alexander Rudnicky},
journal= {arXiv preprint arXiv:2107.05899},
year = {2022}
}