Human-CLAP：基于人类感知的对比语言-音频预训练
音频与语音处理
2026-03-11 v3 声音
摘要
对比语言-音频预训练（CLAP）在音频生成和识别任务中广泛使用。例如，利用CLAP嵌入相似性的CLAPScore已成为文本到音频 relevance 评估的主要指标。然而，CLAPScore与人类主观评估得分之间的关系仍不明确。我们指出CLAPScore与人类主观评估得分的相关性较低。此外，我们提出一种基于人类感知的CLAP，称为Human-CLAP，通过使用主观评估得分训练对比语言-音频模型。在我们的实验中，结果表明，与传统CLAP相比，Human-CLAP将CLAPScore与主观评估得分之间的斯佩尔曼秩相关系数（SRCC）提高了超过0.25。
引用
@article{arxiv.2506.23553,
title = {Human-CLAP: Human-perception-based contrastive language-audio pretraining},
author = {Taisei Takano and Yuki Okamoto and Yusuke Kanamori and Yuki Saito and Ryotaro Nagase and Hiroshi Saruwatari},
journal= {arXiv preprint arXiv:2506.23553},
year = {2026}
}
备注
Submitted to APSIPA ASC 2025