GLAP: 跨域和多语言的通用对比音频-文本预训练
声音
2026-01-21 v2 计算与语言
音频与语音处理
摘要
对比语言音频预训练(CLAP)是一种广泛使用的方法，用于桥接音频和文本领域。当前CLAP方法使声音和音乐检索仅限于英文，忽略了多语言口语内容。为此，我们引入通用语言音频预训练(GLAP)，该方法以扩展CLAP的多语言和多域能力。GLAP通过在标准音频-文本检索基准测试如Clotho和AudioCaps上实现竞争的性能，同时在语音检索和分类任务中显著优于现有方法，展示了其多样性。此外，GLAP在广泛使用的声音事件零样基准测试上取得了强劲成绩，同时在语音内容基准测试中超越了前驱方法。进一步的跨50种语言的关键词点识别评估突显了GLAP的先进多语言能力。最后，在四种语言上进行的多语言声音和音乐理解评估。模型 checkpoint 和源码: https://github.com/xiaomi-research/dasheng-glap。
引用
@article{arxiv.2506.11350,
title = {GLAP: General contrastive audio-text pretraining across domains and languages},
author = {Heinrich Dinkel and Zhiyong Yan and Tianzi Wang and Yongqing Wang and Xingwei Sun and Yadong Niu and Jizhong Liu and Gang Li and Junbo Zhang and Jian Luan},
journal= {arXiv preprint arXiv:2506.11350},
year = {2026}
}
备注
ICASSP 2026