自监督多音高估计中的过拟合与退化现象研究
音频与语音处理
2025-07-01 v1 机器学习
声音
摘要
多音高估计（MPE）是音乐信息检索（MIR）系统 sought-after 的能力，对许多涉及音高的应用和下游任务至关重要。然而，现有方法主要基于监督学习，收集标注数据存在诸多挑战。最近，利用音高和和声信号内在特性的自监督技术在单音和多音音高估计方面显示出前景，但仍不及监督方法。本文通过纳入基于音高不变性和音高等变性特性的多个自监督目标，扩展了经典的监督MPE范式。这种联合训练在封闭训练条件下显著提升，自然地暗示将相同目标应用于更广泛的数据集合将进一步获得改进。然而，实际操作中我们发现，该模型同时对监督数据过拟合，同时在仅用于自监督的数据上退化。这一现象引发了我们对其背后问题的深入探讨。
引用
@article{arxiv.2506.23371,
title = {Investigating an Overfitting and Degeneration Phenomenon in Self-Supervised Multi-Pitch Estimation},
author = {Frank Cwitkowitz and Zhiyao Duan},
journal= {arXiv preprint arXiv:2506.23371},
year = {2025}
}
备注
Accepted to ISMIR 2025