R-Spin：基于声学片段的高效说话人与噪声不变表示学习
计算与语言
2024-04-02 v2 声音
音频与语音处理
摘要
本文提出鲁棒 Spin（R-Spin），一种数据高效、领域特定的自监督方法，通过具有说话人不变聚类的离散声学单元学习（Spin）来学习说话人与噪声不变的语音表示。R-Spin 解决了 Spin 的问题，并通过学习预测声学片段来增强内容表示。与先前最先进方法相比，R-Spin 在计算资源上减少了 12 倍，同时在严重失真语音场景下优于它们。本文提供了详细分析，展示离散单元如何促进语音编码器训练并提升在多样声学环境中的鲁棒性。
引用
@article{arxiv.2311.09117,
title = {R-Spin: Efficient Speaker and Noise-invariant Representation Learning with Acoustic Pieces},
author = {Heng-Jui Chang and James Glass},
journal= {arXiv preprint arXiv:2311.09117},
year = {2024}
}
备注
Accepted to NAACL 2024