MixIT 在相关源信号下是否真的不适用？探索基于 MixIT 的音乐源分离无监督预训练

在音乐源分离（MSS）中，获取隔离的音源或 stems 成本极高，使得在无标签数据上进行预训练成为一个有前景的研究方向。尽管源无关的无监督学习方法如 mixture-invariant training（MixIT）在一般声音分离中已被探索，但在 MSS 中却被大体忽略了，这主要是由于源独立性的隐含假设。我们假设，MixIT 应用于 MSS 的困难程度源于 MSS 本身的欠定性质——stem 的定义是应用相关的，模型缺乏对应不应分离内容的明确认知，而非源间相关性高。尽管 MixIT 不假设任何源模型且在面对此类歧义时仍感到困惑，但我们的初步实验表明，它仍能在一定程度上分离乐器，这表明其在无监督预训练方面具有潜力。鼓励这些见解，我们本研究探索基于 MixIT 的 MSS 预训练方法。我们首先在 Free Music Archive 上使用 MixIT 对模型进行无标签数据的预训练，然后在 MUSDB18 上进行监督微调。使用基于频谱分割的 TF-Locoformer 等最新 MSS 模型，我们展示了基于 MixIT 的预训练相较于从头训练在性能上具有显著优势。