以风格跨越你：从音乐到视觉艺术的跨模态风格迁移

音乐到视觉的风格迁移是创意实践中一个具有挑战性但又很重要的跨模态学习问题。它与传统的图像风格迁移问题的主要区别在于，风格信息由音乐而非图像提供。假设通过两个领域之间的语义链接可以将音乐特征正确映射到视觉内容，我们分两步解决音乐到视觉的风格迁移问题：音乐可视化和风格迁移。音乐可视化网络利用带有条件生成对抗网络的编码器-生成器架构，从音乐数据生成基于图像的音乐表示。该网络与图像风格迁移方法集成以完成风格迁移过程。在WikiArt-IMSLP上进行了实验，这是一个新编制的数据集，包含按年代列出的西方音乐录音和绘画。通过利用这样的标签来学习绘画与音乐之间的语义联系，我们证明了所提出的框架可以从一段音乐中生成多样的图像风格表示，并且这些表示可以揭示同一时代的某些艺术形式。主观测试结果也强调了年代标签在提高音乐与视觉内容之间兼容性的感知质量方面的作用。