Tango 2：通过直接偏好优化对齐基于扩散的文本到音频生成

生成式多模态内容在许多内容创作领域日益普及，因为它有潜力让艺术家和媒体人员通过快速将想法具象化来创建预制作模型。在音乐和电影行业中，从文本提示生成音频是此类过程的一个重要方面。最近许多基于扩散的文本到音频模型专注于在大型提示-音频对数据集上训练日益复杂的扩散模型。这些模型并未明确关注输出音频中概念或事件的存在及其相对于输入提示的时间顺序。我们的假设是，关注音频生成的这些方面可以在数据有限的情况下提高音频生成性能。因此，在本研究中，我们使用现有的文本到音频模型 Tango，合成创建了一个偏好数据集，其中每个提示都有一个获胜音频输出和若干失败音频输出供扩散模型学习。理论上，失败输出在提示中缺失了某些概念或顺序不正确。我们在偏好数据集上使用 diffusion-DPO（直接偏好优化）损失对公开可用的 Tango 文本到音频模型进行微调，并表明在自动评估和人工评估指标上，其音频输出均优于 Tango 和 AudioLDM2。