TriNet：在 ASR 上稳定自监督学习以避免完全或缓慢坍缩
音频与语音处理
2023-03-15 v2 计算与语言
机器学习
摘要
自监督学习（SSL）模型面临信息 abrupt 坍缩或缓慢维度坍缩的挑战。我们提出 TriNet，其引入了一种新颖的三分支架构，用于防止坍缩并稳定预训练。TriNet 学习 SSL 潜在嵌入空间，并将其整合到更高层空间以预测由冻结教师生成的伪目标向量。我们的实验结果表明，所提方法显著稳定并加速了预训练，并且在下游基准 ASR 任务上相比最先进的（SOTA）Data2vec 实现了 6.06% 的相对词错误率降低（WERR）。我们将在 https://github.com/tencent-ailab/ 发布我们的代码。
引用
@article{arxiv.2301.00656,
title = {TriNet: stabilizing self-supervised learning from complete or slow collapse on ASR},
author = {Lixin Cao and Jun Wang and Ben Yang and Dan Su and Dong Yu},
journal= {arXiv preprint arXiv:2301.00656},
year = {2023}
}
备注
Accepted by ICASSP 2023