MT-SLVR：用于变换不变表示的多任务自监督学习
机器学习
2024-01-29 v2 声音
音频与语音处理
摘要
对比自监督学习因能从大型无标签数据集创建高质量表示而受到关注。这些强大特征能够实现下游任务的数据高效学习的一个关键原因是它们提供增强不变性，这常是一种有用的归纳偏置。然而，偏好的不变性的量和类型无法事先得知，且因不同下游任务而异。因此我们提出一种多任务自监督框架（MT-SLVR），以参数高效的方式学习可变和不变特征。我们的多任务表示提供了一种强大且灵活的特征，有益于多样的下游任务。我们在来自多种音频领域的少样本分类任务上评估我们的方法，并展示在所有任务上均取得改进的分类性能。
引用
@article{arxiv.2305.17191,
title = {MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations},
author = {Calum Heggan and Tim Hospedales and Sam Budgett and Mehrdad Yaghoobi},
journal= {arXiv preprint arXiv:2305.17191},
year = {2024}
}
备注
Last author version accepted to InterSpeech23. 5 pages