基于 Audio-Visual Separator 的声景音频-视觉生成与分离

近期的音频-视觉生成模型在从音频生成图像方面取得了显著进展。然而，现有方法专注于从单类音频生成图像，无法处理混合音频中的图像生成。为此，我们提出了声景音频-视觉生成与分离模型 (AV-GAS)，用于从包含多类的混合音频 (soundscape) 生成图像。我们的贡献有三点：首先，我们提出了音频-视觉生成任务的新挑战，即给定多类音频输入生成图像，并通过音频-视觉分离器实现此任务。其次，我们引入了新的音频-视觉分离任务，即为混合音频中每个类别生成独立图像。最后，我们提出了新的评估指标：类别表示得分 (CRS) 和修改后的 R@K。我们的模型在 VGGSound 数据集上进行训练和评估。我们展示了该方法在生成混合音频相关图像方面优于现有方法，CRS 提高 7%，R@2* 提高 4%。