音乐基础模型的参数高效迁移学习

最近不断推出音乐基础模型，旨在提供通用且大多数任务独立的音乐信息编码。适配音乐基础模型的常用方法包括探针和微调。然而，这些常用的迁移学习方法面临挑战。探针可能导致次优性能，因为预训练权重被冻结，而微调计算昂贵且容易过拟合。我们的工作调查了参数高效迁移学习 (PETL) 用于音乐基础模型，这将结合探针和微调的优势。我们引入了三种类型的 PETL 方法：基于适配器的方法、基于提示的方法和基于重新参数化的方法。这些方法仅训练少量参数，因此不需要显著的计算资源。结果表明，PETL 方法在音乐自动标记方面优于探针和微调。在关键检测和节拍估计方面，它们的性能与微调相似，但训练成本显著更低。然而，当前一代基础模型在关键和节拍任务上的有用性被类似地通过从头训练小型模型所实现的相似结果所质疑。代码可在 https://github.com/suncerock/peft-music/ 获取。