Wav2CLIP：从CLIP中学习鲁棒音频表征
声音
2022-02-16 v2 机器学习
音频与语音处理
摘要
我们提出了Wav2CLIP，一种通过从对比语言-图像预训练(CLIP)中蒸馏来学习鲁棒音频表征的方法。我们在包括分类、检索和生成在内的多种音频任务上系统评估了Wav2CLIP，并表明Wav2CLIP可以优于几种公开可用的预训练音频表征算法。Wav2CLIP将音频投影到与图像和文本共享的嵌入空间中，从而支持零样本分类和跨模态检索等多模态应用。此外，与全监督模型相比，Wav2CLIP仅需约10%的数据即可在下游任务上取得有竞争力的性能，并且由于不需要与听觉模型同步学习视觉模型，其预训练比同类方法更高效。最后，我们展示了从Wav2CLIP进行的图像生成，作为对共享嵌入空间的定性评估。我们的代码和模型权重已开源并提供用于进一步应用。
引用
@article{arxiv.2110.11499,
title = {Wav2CLIP: Learning Robust Audio Representations From CLIP},
author = {Ho-Hsiang Wu and Prem Seetharaman and Kundan Kumar and Juan Pablo Bello},
journal= {arXiv preprint arXiv:2110.11499},
year = {2022}
}
备注
Copyright 2022 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works