Leave-One-EquiVariant：缓解对比学习中与不变性相关信息损失的框架
声音
2024-12-30 v1 音频与语音处理
摘要
对比学习在自监督音乐表示学习中证明有效，尤其适用于音乐信息检索（MIR）任务。然而，依赖增强链生成对比视图以及由此学习到的不变性，构成了当不同下游任务需要对特定音乐属性敏感时面临的挑战。为此，我们提出了 Leave One EquiVariant（LOEV）框架，通过有选择地保留特定增强信息，允许模型维持与特定增强相关的等变性，从而实现灵活、任务适应的表示学习。我们展示了 LOEV 缓解了学习不变性导致的信息损失，提升了与增强相关任务和检索性能，同时不损害一般表示质量。进一步，我们引入了 LOEV++ 变体，通过设计自监督方式构建解耦潜在空间，实现基于增强相关属性的定向检索。
引用
@article{arxiv.2412.18955,
title = {Leave-One-EquiVariant: Alleviating invariance-related information loss in contrastive music representations},
author = {Julien Guinot and Elio Quinton and György Fazekas},
journal= {arXiv preprint arXiv:2412.18955},
year = {2024}
}