基于解缠 inversion 控制的零样文本音乐编辑

文本引导的扩散模型通过适应源音频以特定文本提示来革新音频生成。然而，现有的零样音频编辑方法如 DDIM inversion 会在扩散步骤之间积累误差，降低效果。此外，现有编辑方法在保持内容完整性和高保真度的同时难以进行复杂的非刚性音乐编辑。为此，我们提出了 MEDIC，一种基于创新解缠 inversion 控制技术(DIC)的零样音乐编辑系统，其包含和谐注意力控制和解缠 inversion。解缠 inversion 将扩散过程分为三个分支来纠正由 DDIM inversion 引起的源分支偏离路径。和谐注意力控制通过一个中间和谐分支统一相互自注意力控制和交叉注意力控制，逐步生成目标音乐中所需的和谐和旋律信息。我们还引入了 ZoME-Bench，一个包含 1100 个样本、涵盖十个不同编辑类别的综合性音乐编辑基准。ZoME-Bench 促进了零样和指令式音乐编辑任务。我们的方法在编辑保真度和内容保留方面超越了最先进的 inversion 技术。代码和基准将公开 release。音频样本可在 https://medic-edit.github.io/ 观看。